深度学习
文章平均质量分 78
沙漠之狐MSFollower
在读博士生,研究方向包括多模态智能、机器学习、图学习、自然语言处理。期待与有共同爱好的同学一起发现信息化世界的美好。
展开
-
依存解析工具(百度DDParser)
本文是对百度DDParser中文解析工具的安装和使用进行介绍。原创 2022-10-10 17:09:22 · 1670 阅读 · 2 评论 -
多任务联合训练,出现Nan的问题
关于pytorch多任务训练loss=nan的问题原创 2022-09-13 23:03:13 · 824 阅读 · 0 评论 -
Faster RCNN提取图片中的object feature
第一次使用FasterRCNN,尝试使用开源的代码来实现object feature extraction。看了网上有很多的博文都是复现和介绍FasterRCNN,或者直接使用torchvision里面的包,这里我介绍下使用Facebook MMF实现的FasterRCNN,包括安装和使用。第一步,建立conda环境并安装python、pytorch和torchvision,MMF要求python>=3.7,pytorch>=1.6。如果有同学不了解conda的环境构建,可以参考我的另一篇文原创 2021-11-29 19:14:58 · 2099 阅读 · 0 评论 -
pytorch分布式训练小结
经过了几天的学习和总结,得到了一小点知识。破除理解上的障碍,希望和大家共同分享。当前的pytorch分布式训练,主要使用两种方法:DataParallel和DistributedDataParallel。本篇文章对这两种方法的使用流程和关键步骤进行介绍,不涉及很复杂的原理和内核,仅仅方便大家理解和使用。DistributedDataParallelfrom torch.utils.data.distributed import DistributedSamplerfrom torch.n..原创 2021-08-24 20:52:08 · 6551 阅读 · 0 评论 -
Pytorch中的gradient_accumulate_steps、warmup、lr_decay、optimizer和scheduler等问题的解答
(一)gradient_accumulate_steps 对于模型训练来说,batch_size越大,模型效果会越好。但是某些环境下,没有足够的GPU来支撑起大的batch_size,因此这时可以考虑使用gradient_accumulate_steps来达到类似的效果。 具体地,原来训练过程中每个batch_size都会进行梯度更新,这时我们可以采取每训练(叠加)gradient_accumulate_steps个batch_size再更新梯度(这个操作就相当于将batch_size扩大了gr原创 2021-08-10 23:13:59 · 4808 阅读 · 3 评论 -
Pytorch中的DataLoader处理机制
# 该代码主要是为了讲解介绍Dataloader的工作机制# 任何Dataset数据类的子类,并重写相关的函数class NerDataset(data.Dataset): # 将需要的参数进行初始化 def __init__(self, examples, tokenizer, label_map, max_seq_length): self.examples=examples self.tokenizer=tokenizer self.原创 2021-08-09 12:10:17 · 897 阅读 · 0 评论 -
在NLTK中使用StanfordNLP的功能以及单独安装StanfordNLP
一 在NLTK中使用StanfordNLP的功能1 安装nltk:使用以下命令进行安装,pip install nltk参考2 导入nltk数据:import nltknltk.download()因为网速原因,nltk.download()很慢甚至不成功。这时,我们记住nltk.download()运行时产生的图形界面中Download Directory地址。3 下载NLTK官网上的packages包,并将其解压后名称改为nltk_data。将该包放入2记录的地.原创 2021-07-14 20:41:56 · 1487 阅读 · 0 评论 -
神经网络应用过程中的tips
神经网络在训练过程中,会遇到这样或那样的问题。本文对部分问题进行简单的分析与介绍,并尽量提出解决方案,帮助大家共同学习。原创 2020-09-13 23:13:09 · 192 阅读 · 0 评论 -
图神经网络中的谱变换
(1)图G的拉普拉斯矩阵设为L,由于其是一个实对称矩阵,故可以被正交对角化,即(其中V是L的n个特征向量构造的正交特征矩阵,是V中特征向量对应的特征值)。(2)对于任意一个在图G上的信号x,其傅里叶变换为,这里将特征矩阵V称为傅里叶基,而是在傅里叶基上的傅里叶系数。(3)由于V是一个正交矩阵,对上面(2)中的左乘V,则有,该过程称为傅里叶逆变换。(4)在图信号处理中,我们将图滤波器定义为将图信号的频谱中各个频率分量的强度进行增强或者衰减。设图滤波器为H,输出信号为y,则: ...原创 2020-07-17 00:37:29 · 985 阅读 · 0 评论 -
基于深度学习的依存句法分析
依存分析,主要包括两种方法:Transition-based on Tree,Transition-based on Graph原创 2020-04-14 14:27:52 · 2908 阅读 · 0 评论 -
关于ELMo、Transformer及Bert的部分疑难问题解答
关于transformer的原理介绍,有很多地方有详细的解答,本文中我针对具体的问题,贴出一些相关的链接。transfer learning:针对自然语言的fine-tuning指的是XXX;Transformer在机器翻译中的decoder:1)在进行translation操作时,会在解码器的开始输入start token,来便于后续生成;2)在encoder-decoder的阶段,deco...原创 2020-04-06 22:18:38 · 866 阅读 · 0 评论 -
Windows10+Theano+CUDA8.0+Keras配置安装过程
参考资料:http://deeplearning.net/software/theano/install_windows.htmlhttp://deeplearning.net/software/theano_versions/dev/tutorial/using_gpu.html#testing-the-gpuhttps://zhuanlan.zhihu.com/p/23116379原创 2017-08-09 15:11:02 · 648 阅读 · 0 评论 -
Caffe-AlexNet-Finetuning
参考:http://blog.sina.com.cn/s/blog_609c4e720102w1f2.htmlhttp://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.htmlhttp://blog.csdn.net/tonyyang1995/article/details/51814318http://blog.csdn.ne原创 2017-03-10 17:19:20 · 894 阅读 · 0 评论 -
图像数据增强
在做深度学习时,我们时常感觉到数据量不足。那么,怎么增加数据量呢?很明显,数据增强是一个不错的方法。下面我们调研了数据增强的一般方法,供读者参考:Color Jittering: 对颜色的数据增强: 图像亮度、 饱和度、 对比度变化( 此处对色彩抖动的理解不知是否得当) ;PCA Jittering: 首先按照 RGB 三个颜色通道计算均值和标准差, 再在整个训练集上计算协方差矩阵, 进行特...原创 2018-10-27 22:36:32 · 1305 阅读 · 0 评论 -
深度学习中的部分常见问题
(1)为什么算法有时候会陷入局部最优?通常情况下,目标函数是权值的复杂的非线性函数,往往存在多个局部极小点。梯度下降法如果收敛到一个局部极小值点,梯度就等于或接近于0,无法进一步改进目标函数,导致学习过程无法收敛到全局最优解。(2)如何选择合适的初始权值?BP算法的最终收敛结果有时受初始权值的影响很大。各个初始权值不能为0,也不能都相同,而是应该采用较小的随机数。在实验应用中,如果算法...原创 2019-05-21 22:54:53 · 552 阅读 · 0 评论 -
RNN循环神经网络中的权重更新算法-BPTT
参考:http://ir.hit.edu.cn/~jguo/docs/notes/bptt.pdfhttp://www.cnblogs.com/wacc/p/5341670.htmlhttps://zybuluo.com/hanbingtao/note/541458http://www.wildml.com/2015/10/recurrent-neural-networ原创 2017-07-12 00:58:16 · 7481 阅读 · 2 评论