- 博客(22)
- 收藏
- 关注
RSS订阅原创 如何从零开始构建一个网络讨论帖分类模型？
前几天搭建了一个对牛客网每天最新的工作信息进行爬取的程序，见牛客网爬虫，但从网上爬取下来的帖子有很多不是工作信息，需要把这部分干扰信息给排除掉，否则很影响使用心情。之前使用关键词与正则表达式进行了简单过滤，但总是有一些漏网之鱼，且容易误伤，如果能训练一个NLP分类模型来进行过滤，那就再好不过了，正好本人的研究方向是NLP，就想试着构建一个模型玩玩了。
2023-02-03 05:18:02
233
原创 爬虫谷歌学术
一个针对谷歌学术(Google scholar)的爬虫，需要科学上网。支持根据关键词搜索相关的论文前N篇论文，也支持根据论文的标题获取论文摘要信息。
2022-11-29 16:23:47
2544
5
原创 安装配置kafka集群
1、配置虚拟机zookeeper集群见上一篇博客2、下载安装Kafka0 ）官方下载地址：http://kafka.apache.org/downloads.html1 ）下载解压安装包wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz --no-check-certificatetar -zxvf kafka_2.12-3.0.0.tgz2 ）修改配置文件vim kafka_2.12-3.1.0/config/s
2022-04-25 20:07:31
2591
原创 pytorch常用命令
基本运算x.view(1,-1) # -1 能通过计算推断出来torch.zeros/ones([3,4]) #获取值为0/1的矩阵按元素运算：+、-、*、/，x.float(),torch.exp()矩阵乘法：x@y 维度要匹配torch.dot(v1,v2) #两个向量内积 （tensor为1维，无广播）torch.mm(x,y) #矩阵乘法，无广播torch.matmul() #乘法有广播（算后两维）torch.bmm(x,y) #只能进行3维矩阵乘法，且维度要对应
2022-04-25 15:27:08
1708
原创 使用Vmware虚拟机搭建zookeeper集群
1、安装虚拟机安装方法可以参考这篇博客这里安装三台centos7虚拟机，安装完成后效果如下：为方便控制，这里将虚拟机网络配置为桥接模式，首先在虚拟机设置里面将网络连接改为桥接模式然后进入虚拟机，修改以下/etc/sysconfig/network-scripts/ifcfg-eno33这个文件的内容进行设置（ifcfg-eno33 这个文件名因机器而异，需要根据自己的电脑进行修改）：cd /etc/sysconfig/network-scripts/ #先切换到对应的目录ls
2022-04-24 23:33:01
3784
原创 2022年微软暑期实习提前批面经(苏州STCA)
本人基本情况：双非本硕，有过一个小公司的NLP实习和一个比较水的Java项目，投递的是微软STCA苏州的software engineer intern 岗位，现在已经拿到offer。我是元旦放假期间在微软官网投了简历，1.6收到了简历通过的邮件，1.17-1.21面试，1.27收到意向书，2.10收到offer。当知道微软提前批开始时，正值期末考试期间，没时间准备面试，就想着去碰碰运气，听说苏州扩招了，应该会容易点，就投了这个，没想到最后居然过了。面试的主要内容如下：一面(1.17)上来是自我介绍，
2022-02-13 20:18:20
2461
原创 Latex数学公式
Latex公式基础运算a_max和a_{max}\\\sqrt(13) \\x_1 = 3 + 2 - 1\\x_2 = t_1 \times t_2\\x_2 = t_1 \cdot t_2\\y = \frac{x_1}{x_2}\\y = {x_1}/{x_2}\\y = {x_1} \div {x_2}\\x^n_0\\x^2\\\sqrt[3]{n}\\\sum_{i=1}^{n} \\\int_{0}^{\frac{\pi}{2}} \\\prod_\epsilon
2021-06-27 12:58:28
1114
原创 软件安装运行报错及解决办法汇总
vmware 虚拟机连不上网https://jingyan.baidu.com/article/37bce2bec0f3125002f3a2dd.html
2021-04-12 17:23:38
381
原创 Windows文件夹文件目录自动生成器
当一个文件夹里文件很多时，我们很容忘了每个文件夹里的内容，自己一个一个去看太麻烦，因此写了一个C++程序，在window系统下，能够自动生成指定文件夹内的文件目录，并在该文件夹下生成"目录.txt"文件保存该文件夹的目录结果，同时也会在当前页面打印结果，效果如下：程序代码如下：#include<bits/stdc++.h>#include <io.h>#include <dirent.h>using namespace std;typedef st
2021-02-24 16:07:21
4141
原创 解决安装pytorch、tensorflow及其他国外开源软件太慢或timeout问题，改用国内源安装
https://www.cnblogs.com/GoubuLi/p/13533519.htmlconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls y
2021-01-26 23:25:36
565
1
原创 动手学深度学习pytorch入门
学习pytorch和深度学习极好的电子书，书中详细讲解了深度学习常用算法的原理及自己动手进行模型代码的实现，以及调用pytorch接口的实现代码，电子书地址如下：https://tangshusen.me/Dive-into-DL-PyTorch/#/...
2021-01-12 17:38:42
1842
转载 A*算法
A* 寻路算法原文地址：https://blog.csdn.net/hitwhylz/article/details/23089415概述虽然掌握了A*算法的人认为它容易，但是对于初学者来说，A*算法还是很复杂的。搜索区域(The Search Area)我们假设某人要从A点移动到B点，但是这两点之间被一堵墙隔开。如图1，绿色是A，红色是B，中间蓝...
2020-03-25 18:31:16
723
原创 Google colab 阻止自动掉线
Google colab 可以免费使用GPU、TPU等计算资源进行人工智能计算，但计算页面隔一段时间无操作之后就会自动掉线，之前训练的数据都会丢失，最后终于找到了一种可以让其自动保持不离线的方法，用一个js程序自动点击连接按钮。代码如下：function ClickConnect(){ console.log("Working"); document .querySe...
2020-03-12 18:26:01
12437
11
原创 win10安装TensorFlow2.0
一、安装Anaconda可以百度搜索anaconda然后进官网下载安装，但此方法比较慢，建议从清华大学开源镜像站下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/具体安装过程略二、安装过程安装说明：平台：windows版本：tensorflow2.0.0-alpha0（cpu版本）安装方式：pip...
2020-02-10 23:40:47
758
原创 免费AI计算资源
推荐几个提供免费GPU计算资源的平台，助力你的AI之路1. Kaggle Kernel2.百度AI3. Google Colaboratory原文链接：https://blog.csdn.net/mrjkzhangma/article/details/96978810深度学习与“免费”GPUGoogle，FloydHub，Kaggle Kernels原文链接：http...
2020-02-01 18:41:43
622
1
原创 win10家庭版关闭自动更新
Win10家庭版系统也能使用组策略啦！终于关闭系统自动更新了原文链接：https://baijiahao.baidu.com/s?id=1641543193132875496&wfr=spider&for=pcwin10禁用自动更新，现在需要禁用两个服务，分别是Windows Update和Windows Update Medic Service。为啥呢。Windows...
2020-01-31 18:28:47
456
原创 常用网站-快乐学习
目录常用学习课程IT、计算机教程1.国内主要的在线测编程试题库网站论文数据库❖知识阅读常用1云端电脑2菜鸟教程3阿里云4Google开源人工智能5腾讯云6百度AI7华为云8亚马逊云9stm...
2018-03-26 23:11:45
1516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人