防止过拟合（NN/CNN）

前言

防止过拟合的方法很简单，这里列出几种以供参考。

方法一：损失函数添加正则项

1. 正则项有哪些呢？

L1 norm
$$||w|{|}^1=\Sigma |w_i|$$

L2 norm
$$||w|{|}^2=\sqrt{{\Sigma }_{|w_i{|}^2}}$$

普遍化之后就是Lp norm
$$||w|{|}^p=\sqrt[p]{{\Sigma }_{|w_i{|}^p}}$$

2. 这么多正则项，如何选择呢？

weight之和 与 weight平方

weight之和会使得较小的weight重点受到惩罚
weight平方会使得较大的weight重点受到惩罚

原因很简单，在loss function中，某一项的值越大，该项收到的惩罚越大。平方后，越大的值会变得更大，而求和没有这个特征。于是，这两种做法相比较，就得到了上面这个结论。

实际实践过程中，为了避免过拟合，我们希望尽可能消去一些weights，所以我们选择的是方法二：求和，使得更小的weights受到更多的惩罚。

方法二：刻意丢掉一些节点

在某一层中，随机丢掉一些节点，即将该层中，和某些节点的所有连接权重为0。

Tensorflow中有专门的函数tf.keras.layers.Dropout(p=?)。其中，参数p代表丢掉的节点占全部节点的比例。具体的细节较为复杂，可以参考Tensorflow的API文档。

Dropout是一种计算开销较小的方法（每次更新只有O(n)的复杂度），但是能够很有效的让模型更为稀疏，也就是会得到一个更简单的模型，从而有效减小过拟合。

可以用于几乎任何distrubuted representation的网络。

方法三：在过拟合前停止训练

想要监测训练过程从而发现并及时停止训练从而防止过拟合，可以利用Tensorflow Dashboard之类的工具。

方法四：交叉验证

把数据集等分为几份，比如3份（A，B和C），然后分别把他们作为训练集和校验集。这种方法也叫k-fold。

举个例子：

批次	训练集	校验集
1	A B	C
2	A C	B
3	B C	A

或者每次忽略一部分

批次	训练集	忽略的部分
1	A B	C
2	A C	B
3	B C	A

不过一般被忽略的部分占比较小。

这种方法可以使得训练的结果更具有普遍性，从而能够更好的适应未来没见过的数据。