正则化解决过拟合

拟合

 蓝色的圈代表数据，红色的线和绿色的线分别代表我们学习到的曲线。

绿色曲线相对红色曲线更加平滑。绿色曲线才是我们想要的，红色曲线从某种程度上讲是过拟合的，可以从图上看到他的误差是很小的，每个点的误差都是很小很小的。而绿色的曲线牺牲了一部分误差，使得曲线更加的平滑，这样的曲线才是我们所需要的。

什么是正则化

在原来的损失函数后加入正则化项

为什么加入正则化项可以解决过拟合问题？

解释一：降低参数w的大小范围来降低模型的复杂度，因此来解决过拟合问题。

解释二：在训练神经网络的时候，神经网络得到的w和b，它不是一个唯一确定的值，它可以有很多得到相同的损失函数值，对应的w和b不是唯一的，可以有很多得到相同的损失函数。通过正则化将w约束到一个理想的范围

考虑一个线性模型的例子，该模型的形式为y = θ0 + θ1x1 + θ2x2 + ... + θn*xn。其中，θi是模型的参数，xi是输入特征。模型的输出y是输入特征和参数的线性组合。

如果参数θi的绝对值很大，那么对应的特征xi就会对模型的输出产生很大的影响。换句话说，模型对这个特征非常“敏感”。这可能会导致模型过于复杂，对训练数据中的噪声或异常值过度敏感，导致过拟合。
相反，如果参数θi的绝对值较小，那么对应的特征xi对模型的输出的影响就较小。这意味着模型对这个特征不那么敏感，模型的复杂性相对较低。
正则化就是通过添加一个与参数大小相关的惩罚项来鼓励模型保持较小的参数。这可以防止模型过于依赖某个或某些特征，使得模型对输入数据的各个方面都有适当的关注，从而提高模型的泛化能力。

为什么加入正则化项时只限制参数w而不限制b？

参数b只是一个偏移量，只是对拟合的曲线进行上下的平移，并没有改变曲线的形状。我们解决过拟合问题知识想让它的曲线变得更平滑一些。因此改变参数b并没有什么影响

L1正则化和L2正则化？

Dropout正则化

为什么dropout正则化可以解决过拟合问题？

 通过减少参数的数目降低模型的复杂度。

不会过度依赖任意一个输入神经元，不会给任意一个神经元赋予过大的权重，因此权重w变小，相当于起一个L正则化的作用。