《动手学深度学习》pytorch版笔记2

《动手学深度学习》pytorch版笔记2
Task3
过拟合、欠拟合及其解决方案
这部分内容比较简单，写下问题吧，再挖几个坑
1.模型复杂度如何改变，三阶到一阶等
2.L2范数正则化为什么是权重衰减的一种方式？

梯度消失，梯度爆炸
1.初始化过程
2.标签偏移的概念
3.数据处理过程

循环神经网络进阶
GRU，LSTM中的门结构实现起来还挺复杂的，有空再自己实现一遍吧。另外深度循环神经网络貌似叫多层循环神经网络，印象中一般不会堆叠很多层，有空再研究一下吧

Task4
机器翻译及相关技术
机器翻译是一个多对多的一个过程
1.seq2seq模型training与inference之前的差别（decoder部分），为何会有以及如何实现一直没搞清楚，先挖坑吧
2.Beam search部分以前了解得比较少，就知道贪心算法，需要再研究研究

Attention以及Transformer
这部分应该算是NLP中SOTA算法的基础了，先留下，之后慢慢搞懂

Task5
卷积神经网络基础、LeNet、卷积神经网络进阶
这部分比较熟悉，就放一起了
1.1×1 卷积中，假设我们将通道维当作特征维，将高和宽维度上的元素当成数据样本，那么 1×1 卷积层的作用与全连接层等价？
2.NiN结构没使用Dense层，以前还没注意到这种结构