过拟合、欠拟合、梯度消失与梯度爆炸-Task3

1. 过拟合、欠拟合及其解决方案

本节主要讲了3个点，1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法

其中权重衰减只讲了L2正则化，其实还有L1正则化、L12正则化等。

丢弃法其实就是Dropout，只是翻译成了中文。

Inverted-Dropout

Inverted-Dropout是实现 dropout 的方法。假设对第i层进i行 dropout：

p = 0.8
di = np.random.rand(ai.shape[0], ai.shape[1]) < p
ai = np.multiply(ai, di)
ai /= keep_prob

最后一步ai /= p是因为 a[i]中的一部分元素失活（相当于被归零），为了在下一层计算时不影响 $Z[i+1]$的期望值，因此除以一个p。

2. 梯度消失、梯度爆炸

在梯度函数上出现的以指数级递增或者递减的情况分别称为梯度爆炸或者梯度消失。

在计算梯度时，根据不同情况梯度函数会以指数级递增或递减，导致训练导数难度上升，梯度下降算法的步长会变得非常小，需要训练的时间将会非常长。

解决方法

• 合适的权重初始化方法，如He Initialization、 Xavier initialization等
• 选择合适的激活函数，例如relu相比sigmoid，解决了梯度消失问题

3. 考虑环境因素

这部分讲了协变量偏移、标签偏移、概念偏移，之前只知道协变量偏移，对视频讲解的标签偏移不是很清楚。

标签偏移：当我们认为导致偏移的是标签P（y）上的边缘分布的变化，但类条件分布是不变的P（x∣y）时，就会出现相反的问题。当我们认为y导致x时，标签偏移是一个合理的假设。（摘自boyu-notebook）简单的说，可以理解为测试时出现了训练时没有的标签。

例：

一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到：协变量偏移