高斯拟合原理_关于拟合

首先，关于拟合的文章，

刘博：深度学习（Deep Learning）基础概念8：L2正则化（L2 Regularization）、Dropout原理及其python实现​zhuanlan.zhihu.com

不认可图三是过拟合，如果是那样的话，学习的作用必须是追求通用，而不是追求精确了。其实，故事应该是这样的，图三仅仅是在二维空间的一个展示，如果发现了一个更好的网络，它在更高维度的可视化，它是可以完美的分类好其数据的。

另外一篇文章感觉比较好：

优化完成后，你发现网络的表现不尽如人意，这时诊断网络处于高偏差/高方差状态是对你下一步调参方向的重要指导。与经典机器学习算法有所不同，因为深度神经网络通常要处理非常高维的特征，所以网络可能同时处于高偏差/高方差的状态，即在特征空间的一些区域网络处于高偏差，而在另一些区域处于高方差。我们可以通过对网络的偏差和方差做一个预估，完成合适的网络优化和调整。

张皓：(一)深度学习基础(基本概念、优化算法、初始化、正则化等)​zhuanlan.zhihu.com

L2正则化的地方有点不明白，好像是L1正则化是让权值趋近于0，等价于拉普拉斯先验分布，L2正则化是让权值的方差足够小，等价于高斯先验分布。