过拟合、欠拟合及其解决方案
- 过拟合、欠拟合的概念
- 训练误差(training error)和泛化误差(generalization error)
- 欠拟合:模型无法达到一个较低的误差
- 过拟合:训练误差较低但是泛化误差依然较高,二者相差较大
- 权重衰减
L2 范数正则化(regularization)通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制,这可能对过拟合有效。
- 丢弃法
- 丢弃法不改变输入的期望值。
- 在测试模型时,我们为了拿到更加确定性的结果,一般不使用丢弃法
梯度消失、梯度爆炸
- 梯度消失和梯度爆炸
深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion.当神经网络的层数较多时,模型的数值稳定性容易变差
- 考虑到环境因素的其他问题
协变量偏移
标签偏移
概念偏移 - Kaggle房价预测
获取和读取数据集
预处理数据
训练模型
K折交叉验证
模型选择
预测并在Kaggle中提交结果
卷积神经网络基础
- 二维卷积层
- 二维互相关运算
- 二维卷积层
- 互相关运算与卷积运算
- 特征图与感受野
- 填充和步幅
- 填充
- 步幅
- 多输入通道和多输出通道
- 多输入通道
- 多输出通道
- 1x1卷积层
- 卷积层与全连接层的对比
- 卷积层的简洁实现
- 池化
- 二维池化层
池化层主要用于缓解卷积层对位置的过度敏感性。同卷积层一样,池化层每次对输入数据的一个固定形状窗口(又称池化窗口)中的元素计算输出,池化层直接计算池化窗口内元素的最大值或者平均值,该运算也分别叫做最大池化或平均池化。
- 池化层的简洁实现