Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶(1天)
梯度消失部分,主要是协变量偏移、标签偏移、概念偏移三个概念,第一次接触;
循环神经网络以及过拟合部分比较容易理解;
Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer(1天)
第一次接触encoder-decoder两个概念,自动翻译的核心,就是先将一句话编码,然后通过解码,得到新的语言,听起来很玄,nlp还是要复杂很多的;
注意力机制,本质上是提取一段字符内值得注意的概念,比如说‘主谓宾’,很简单的一句话,但是每个单词的重要性是不一样的,注意力机制就是把这个理念给加上去;
transformer是在注意力机制和encoder-decoder上面的创新,感觉这些进化的神经网络都是玄学,很好用,但是解释起来都很模糊。卷积神经网络那边的googlenet还能勉强理解他的核心思想,transformer还不是很清楚,以后要花时间看看;
Task05:卷积神经网络基础;leNet;卷积神经网络进阶(1天)
掌握了基本的卷积、池化概念,卷积神经网络越深,感受野就越大;
两层3×3神经网络可以替代5×5神经网络,但是他的参数要少很多,同理越多的堆叠效果就越好,而且从论文来看,效果不会变差太多;
alexnet、vgg这些神经网络,本质上是卷积神经网络的多层堆叠,包括残差神经网络也是,大家都想让神经网络越来越深以掌握更多的东西;