【Pytorch】动手学深度学习（二）

学习安排如下：
Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天）
Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天）
Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天）

Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天）

梯度消失部分，主要是协变量偏移、标签偏移、概念偏移三个概念，第一次接触；
循环神经网络以及过拟合部分比较容易理解；

Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天）

第一次接触encoder-decoder两个概念，自动翻译的核心，就是先将一句话编码，然后通过解码，得到新的语言，听起来很玄，nlp还是要复杂很多的；
注意力机制，本质上是提取一段字符内值得注意的概念，比如说‘主谓宾’，很简单的一句话，但是每个单词的重要性是不一样的，注意力机制就是把这个理念给加上去；
transformer是在注意力机制和encoder-decoder上面的创新，感觉这些进化的神经网络都是玄学，很好用，但是解释起来都很模糊。卷积神经网络那边的googlenet还能勉强理解他的核心思想，transformer还不是很清楚，以后要花时间看看；

Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天）

掌握了基本的卷积、池化概念，卷积神经网络越深，感受野就越大；
两层3×3神经网络可以替代5×5神经网络，但是他的参数要少很多，同理越多的堆叠效果就越好，而且从论文来看，效果不会变差太多；
alexnet、vgg这些神经网络，本质上是卷积神经网络的多层堆叠，包括残差神经网络也是，大家都想让神经网络越来越深以掌握更多的东西；