正则化的要点

1、回归

从回归的角度上看，项$\frac{1}{2}||W|{|}^2$有一个特定的直观作用，从几何上说，最小代价函数$\xi (W)$过程中，包含正则化项$\frac{1}{2}||W|{|}^2$有利于找到带有好的逼近属性的平坦函数

此最小代价函数可作为一个用于函数逼近的多层感知器的正则化的可行方法，其缺点是在数学上很难把Tikhonov正则化运用于多层感知器，不像径向基函数网络，多层感知器的可调整的突触权值在隐藏层和输出层中分布。
2、最大似然估计
最大后验参数估计的目标函数，作用于高斯环境，可用如下公式表示：

因此可以把$\frac{1}{2}||W|{|}^2$看作一个关于极大后验参数估计中潜在结构的先验信息。