![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
文章平均质量分 88
_illusion_
知乎主页:https://www.zhihu.com/people/illusions-29/posts
展开
-
非root用户安装cuda、cudnn(for tensorflow==2.1.0,CUDA 10.1,cuDNN 7.6.5)
为何有这种需求:服务器上非root账户; hanlp以tensorflow2.0+为基础; 服务器原有cuda版本9.0,cudnn7.1.3,均不符tensorflow2.1.0要求,无法启动GPU运算踩坑合集1.上官网下载与tensorflow=2.1.0对应的cuda(cuda 10.1)甩链接:https://developer.download.nvidia.cn/co...原创 2020-03-02 20:16:25 · 2788 阅读 · 3 评论 -
关于BERT和Transformer的易错点
1. BERT中使用Transformer作特征提取器,其实只使用了Transformer的Encoder。那么Decoder去哪了呢?显然是被BERT改造了。Transformer其实是个完整地seq-to-seq模型,可以解决诸如机器翻译、QA这种输入输出为不定长句子的任务,在Transformer中,它使用Encoder做特征提取器,然后用Decoder做解析,输出我们想要的结果。而...原创 2020-01-15 18:41:37 · 4189 阅读 · 3 评论 -
Transformer、Attention与seq2seq model
一、什么是seq2seq,以及它和Attention机制有什么关系seq2seq是一种NLP常见的框架——这种框架不要求输入和输出序列是维度是一样的。许多NLP task的输入输出维度不统一,比如机器翻译、图像的图注生成、摘要生成、自动问答等。seq2seq框架大多包含encoder和decoder。 Attention机制只是一种思想——即,人在理解一件事物并作出判断的时候,并不是概览了整...原创 2019-11-22 14:17:42 · 1664 阅读 · 1 评论 -
为何不可将神经网络的参数全都初始化成0?
为何不可将神经网络的参数全都初始化成0?证明如下:如图所示。所以其实可以看出,当你把所有参数都初始化为0的时候,同一hidden layer的参数的更新幅度是一样的。又因为它们的初值也一样(都是0),所以导致隐藏层的参数永远一样,这就意味着你同一隐藏层每个神经元输入一样、经过同样的sigmoid激活,又得到一样的输出(设a4=a5=a),然后再乘以一样的参数。对于图中x4、x5组...原创 2019-11-05 16:09:10 · 1873 阅读 · 2 评论 -
【paper阅读】paper01class02 《Deep Learning》论文阅读、视频问题及打卡
CNN-卷积神经网络CNN在处理自然信号上的四大关键思想: 局部连接——不是所有神经元之间都是有明显关系的,互相产生连接的只是一小部分神经元。或者更确切地说,CNN关注的是pattern,而不是整张图片 权重共享——相同的pattern就可以用一样的参数,即便它们出现在同一张图的不同位置 池化层导致的下采样——下采样不会改变图像,而且可以使图像变小 使用多层神经网络——??? ...原创 2019-09-14 23:06:13 · 137 阅读 · 0 评论 -
【paper阅读】AlexNet论文阅读(打卡)
3.3 局部响应归一化(LRN)在后续研究中被发现没啥用3.4 Overlapping Pooling层叠池化如下图:进行了层叠池化,相比非层叠池化的model,更可以抵抗过拟合3.5 总体的架构共8个layer:前五个是卷积层,后三个是全连接层 最后一个全连接层作为input输入一个1000-维的softmax,得到一个1000维vector,即是其对应10...原创 2019-09-24 10:55:17 · 208 阅读 · 0 评论 -
tf.Variable(), tf.get_variable(), tf.variable_scope(), tf.name_scope()——不同的变量创建方式决定了他们不同的用途
tf.get_variable() 创建变量的时候必须要提供 name tf.Variable()创建变量之前不会检查是否有同样name的变量,但tf.get_variable() 会。 因为上一条的原因,所以tf.get_variable() 可以方便共享变量,前提是要配合`tf.variable_scope()`使用。每个在tf.variable_scope()定义的变量命名空间之...原创 2019-09-27 15:13:12 · 163 阅读 · 0 评论