chadqiu的博客

使用trainer训练bert系列模型和T5系列模型

使用自己的数据构建huggingface dataset数据集

前几天搭建了一个对牛客网每天最新的工作信息进行爬取的程序，见牛客网爬虫，但从网上爬取下来的帖子有很多不是工作信息，需要把这部分干扰信息给排除掉，否则很影响使用心情。之前使用关键词与正则表达式进行了简单过滤，但总是有一些漏网之鱼，且容易误伤，如果能训练一个NLP分类模型来进行过滤，那就再好不过了，正好本人的研究方向是NLP，就想试着构建一个模型玩玩了。

一个针对谷歌学术(Google scholar)的爬虫，需要科学上网。支持根据关键词搜索相关的论文前N篇论文，也支持根据论文的标题获取论文摘要信息。

基本运算x.view(1,-1) # -1 能通过计算推断出来torch.zeros/ones([3,4]) #获取值为0/1的矩阵按元素运算：+、-、*、/，x.float(),torch.exp()矩阵乘法：x@y 维度要匹配torch.dot(v1,v2) #两个向量内积 （tensor为1维，无广播）torch.mm(x,y) #矩阵乘法，无广播torch.matmul() #乘法有广播（算后两维）torch.bmm(x,y) #只能进行3维矩阵乘法，且维度要对应

https://www.cnblogs.com/GoubuLi/p/13533519.htmlconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls y

学习pytorch和深度学习极好的电子书，书中详细讲解了深度学习常用算法的原理及自己动手进行模型代码的实现，以及调用pytorch接口的实现代码，电子书地址如下：https://tangshusen.me/Dive-into-DL-PyTorch/#/...

Google colab 可以免费使用GPU、TPU等计算资源进行人工智能计算，但计算页面隔一段时间无操作之后就会自动掉线，之前训练的数据都会丢失，最后终于找到了一种可以让其自动保持不离线的方法，用一个js程序自动点击连接按钮。代码如下：function ClickConnect(){ console.log("Working"); document .querySe...

推荐几个提供免费GPU计算资源的平台，助力你的AI之路1. Kaggle Kernel2.百度AI3. Google Colaboratory原文链接：https://blog.csdn.net/mrjkzhangma/article/details/96978810深度学习与“免费”GPUGoogle，FloydHub，Kaggle Kernels原文链接：http...