![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
k1125403307
这个作者很懒,什么都没留下…
展开
-
Task06/07-批量归一化和残差网络;凸优化;梯度下降; 优化算法进阶;word2vec;词嵌入进阶
本文记录学习下面六个任务过程中思考过的问题及大家讨论过程中学习到的知识点,欢迎指正。 批量归一化和残差网络; 凸优化; 梯度下降; 优化算法进阶; word2vec; 词嵌入进阶 基础知识部分直接参考Dive-into-DL-PyTorch 做完batach nornamlization后为何又拉伸/偏移?理论证明 详见论文:Batch Normalization: Accelerating ...原创 2020-02-23 11:36:53 · 233 阅读 · 0 评论 -
pytorch-知识点笔记4/5-卷积神经网络基础;leNet;卷积神经网络进阶机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点,欢迎指正。 过拟合欠拟合及其解决方案 梯度消失、梯度爆炸 循环神经网络进阶 基础知识部分直接参考Dive-into-DL-PyTorch 如何构建Vocab时使得总得查询次数最少 根据词频,和构建Huffman树同样思想,所以此处增加sort class Vocab(object): # This class is sa...原创 2020-02-16 18:28:18 · 275 阅读 · 0 评论 -
pytorch-知识点笔记3-过拟合欠拟合及其解决方案/梯度消失、梯度爆炸/循环神经网络进阶
本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点,欢迎指正。 过拟合欠拟合及其解决方案 梯度消失、梯度爆炸 循环神经网络进阶 基础知识部分直接参考Dive-into-DL-PyTorch net.eval()与net.train()是如何实现开关dropout net.eval()-> train(self, mode=False)-> self.train...原创 2020-02-14 22:36:50 · 743 阅读 · 0 评论 -
pytorch-知识点笔记2-文本预处理/语言模型/rnn
本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点,欢迎指正。 文本预处理 语言模型 rnn 基础知识部分直接参考Dive-into-DL-PyTorch ngram的缺点以及如何解决 gram模型的缺点: 参数系数,参数空间过大,存储和内存吃不消 参数空间过大 数据稀疏 但如何解决上述问题,只需要加入平滑方法,如 Additive smoothing Good-Turi...原创 2020-02-14 17:33:39 · 346 阅读 · 0 评论 -
pytorch-知识点笔记1-线性回归/Softmax与分类模型/多层感知机
本文记录学习过程中遇到的过的问题及大家讨论过程中学习到的知识点 线性回归 Softmax与分类模型 多层感知机 pytorch矩阵4种乘法的区别:*, torch.mul, torch.mm, torch.matmul 简单理解:前两者是点成,后两者是矩阵乘法 具体可参考: torch.Tensor的4种乘法 以下定义方式等价 torch.randn(size=[3,4]) # torch.r...原创 2020-02-13 23:21:32 · 650 阅读 · 0 评论