![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 82
Teng1996
这个作者很懒,什么都没留下…
展开
-
深度学习参数更新
几种常见的参数更新方式 1) SGD x += - learning_rate * dx 2) Momentum update # Momentum update v = mu * v - learning_rate * dx # integrate velocity x += v # integrate position 3) Nesterov Momentum v_prev = v # ...原创 2019-05-19 13:39:05 · 1216 阅读 · 0 评论 -
激活函数
1)sigmoid sigmoid的俩个问题: 1.梯度消失。 如上图所示,饱和的神经元会kill 梯度。 当x取值为-10和10的时候,σ(x)\sigma(x)σ(x)对x的导数几乎为0。所以此局部梯度变成了0,不管上游梯度为多少,再利用链式法则求导时,会将损失函数对x的偏度置为0。所以梯度无法继续传递。造成无法进行梯度更新。 如上图所示,当该神经元达到饱和时(即,经过一定时间训练,输入...原创 2019-05-14 19:50:12 · 228 阅读 · 0 评论 -
keras笔记
1)embedding层 embedding(vocab_size,64,input_length=maxword) 是 将用整数索引表示的单词所构成的句子,映射成使用向量表示的单词 构成句子。 他的输入是 batch_size 个句子,每个句子是maxword大小,即(batch,maxword),经过此层后,变为(batch,maxword,64) 当训练结束后,每个单词都会 学到自己的词向量...原创 2019-05-22 11:41:03 · 262 阅读 · 0 评论 -
服务器安装深度学习环境
参考 https://zhuanlan.zhihu.com/p/44183691。 前面的步骤都可以成功。 当解压完cudnn后进行如下操作 $ sudo cp cuda/include/cudnn.h /usr/local/cuda/include $ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 $ sudo chmod a+r /usr...原创 2019-05-27 09:28:58 · 661 阅读 · 0 评论 -
服务器离线安装 python包
(1) 安装 pytorch. https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ 找到合适的版本下载。然后上传到服务器中。 安装命令: conda install --offline -n env_name XXXX…tar.bz2 ...原创 2019-09-11 18:56:17 · 602 阅读 · 0 评论