《动手学深度学习》第二次打卡-学习小队

一、学习任务：

• Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶
• Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
• Task05：卷积神经网络基础；leNet；卷积神经网络进阶

二、学习要点

2.1 过拟合、欠拟合及其解决方案

• 过拟合：太过贴近于训练数据的特征了，在训练集上表现非常优秀，近乎完美的预测/区分了所有的数据，但是在新的测试集上却表现平平
• 欠拟合：样本不够或者算法不精确，测试样本特性没有学到，不具泛化性，拿到新样本后没有办法去准确的判断
  
  https://blog.csdn.net/xuaho0907/article/details/88649141
• 解决过拟合：降低数据量，正则化（L1,L2），Dropout（把其中的一些神经元去掉只用部分神经元去构建神经网络）
• 解决欠拟合：增加训练数据