Task 3

过拟合、欠拟合及其解决方案

1. 过拟合、欠拟合的概念

• 训练误差（training error）和泛化误差（generalization error）

• 欠拟合：模型无法达到一个较低的误差
• 过拟合：训练误差较低但是泛化误差依然较高，二者相差较大

2. 权重衰减

L2 范数正则化（regularization)通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制，这可能对过拟合有效。

3. 丢弃法

• 丢弃法不改变输入的期望值。
• 在测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法

梯度消失、梯度爆炸

1. 梯度消失和梯度爆炸

深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion.当神经网络的层数较多时，模型的数值稳定性容易变差

2. 考虑到环境因素的其他问题
   协变量偏移
   标签偏移
   概念偏移
3. Kaggle房价预测
   获取和读取数据集
   预处理数据
   训练模型
   K折交叉验证
   模型选择
   预测并在Kaggle中提交结果

卷积神经网络基础

1. 二维卷积层

• 二维互相关运算
• 二维卷积层
• 互相关运算与卷积运算
• 特征图与感受野

2. 填充和步幅

• 填充
• 步幅

3. 多输入通道和多输出通道

• 多输入通道
• 多输出通道
• 1x1卷积层

4. 卷积层与全连接层的对比
5. 卷积层的简洁实现
6. 池化

• 二维池化层

池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样，池化层每次对输入数据的一个固定形状窗口（又称池化窗口）中的元素计算输出，池化层直接计算池化窗口内元素的最大值或者平均值，该运算也分别叫做最大池化或平均池化。

• 池化层的简洁实现