![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
boyu动手学Pytorch
elsieyin
这个作者很懒,什么都没留下…
展开
-
Task07:优化算法进阶;word2vec;词嵌入进阶
优化算法进阶 momentum AdaGrad AdaDelta RMSProp Adam Review EMT= exponential moving average Adam 约等于RMSprop + Momentum原创 2020-02-25 11:00:11 · 150 阅读 · 3 评论 -
Task08:文本分类;数据增强;模型微调
数据增强 模型微调 输出参数 fc 更新快 随机初始化 lr=0.1 特征参数 其他层 慢 点线面信息权值大 lr=0.01原创 2020-02-25 10:52:31 · 156 阅读 · 0 评论 -
Task06:批量归一化和残差网络;凸优化;梯度下降(1天)
resnet原创 2020-02-25 10:45:59 · 177 阅读 · 0 评论 -
Task05:卷积神经网络基础;leNet;卷积神经网络进阶
这边写错了 应该是conv2d原创 2020-02-18 18:16:41 · 133 阅读 · 0 评论 -
Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
原创 2020-02-18 18:14:14 · 110 阅读 · 0 评论 -
Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
原创 2020-02-18 18:12:40 · 111 阅读 · 0 评论 -
task02文本预处理;语言模型;循环神经网络基础
strip()方法 collections 语言模型 n元语法 随机采样 相邻采样 梯度裁剪 在BP过程中会产生梯度消失/爆炸 (偏导无限接近0,导致长时记忆无法更新) g1=∂J(w)∂w1,g2=∂J(w)∂w2g_{1}=\frac{\partial J(\mathbf{w})}{\partial w_{1}},g_{2}=\frac{\partial J(\mathbf{w})...原创 2020-02-14 17:56:27 · 123 阅读 · 0 评论 -
task01线性回归;Softmax与分类模型、多层感知机
task01 task 02原创 2020-02-12 17:04:29 · 126 阅读 · 1 评论