初识神经网络（Neural Networks）——神经网络中的过拟合（Overfitting）和正则化（Regularization）

上一篇博客梳理了神经网络的一些重要概念和逻辑，本文将围绕神经网络中的过拟合和正则化展开。

1.过拟合
较多的隐藏层可以提取输入不同层次的特征，但是不是越多越好，会出现过拟合的问题（训练集的损失函数值很小，但是测试集的损失函数值很大）。
以下是欠拟合、过拟合和理想状态的示意图：

因此要找到过拟合和欠拟合中间泛化误差最小的那个阈值

2.正则化的要义：
正则化参数的同时，最小化训练误差。常见的通用模型公式如下：