伯禹学习平台打卡（二）

**

TASK 03

**
1.过拟合、欠拟合及其解决方案
（1）过拟合、欠拟合的概念
一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
（2）权重衰减
权重衰减等价于 L2L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
（3）丢弃法

2.梯度消失、梯度爆炸以及Kaggle房价预测
（1）梯度消失和梯度爆炸
（2）考虑到环境因素的其他问题
协变量偏移
标签偏移
概念偏移
（3）Kaggle房价预测

3.循环神经网络进阶

TASK 04

1.机器翻译及相关技术



2.注意力机制




3.Transformer

TASK 05

1.卷积神经网络基础







2.LeNet

3.卷积神经网络进阶