机器学习和深度学习中的正则化

    正则化是在机器学习和深度学习中作为一种抑制过拟合的比较有效的手段之一，好的算法应该具有良好的泛化能力，即不仅要在训练集数据上表现良好，推广到未知的测试数据时，也能有良好的表现。正则化是一类通过显式设计降低泛化误差来提升算法通用性的策略的统称。由于深度学习中隐藏节点众多，涉及到的参数也众多，正则化就变得尤为重要。本文从正则化定义与正则化的分类两方面来阐述这一概念。

一、正则化的定义：

   正则化被定义为对学习算法的修改，这些修改的目的在于减少泛化误差。通常来说，泛化误差的下降是以训练误差的上升为代价的， 但有些比较好的算法也能兼顾泛化误差和训练误差的良好性能。

    正则化处理可以看成是奥卡姆剃刀原则在学习算法上的应用。奥卡姆原则：当两个假说具有完全相同的解释力和预测力时，以那个较为简单的假说作为讨论依据。在机器学习中，正则化处理得到的正是更加简单的模型。

    从概率论的角度来说，许多正则化技术对应的是在模型参数上施加一定的先验分布，其作用是改变泛化误差的结构。正则化是对欠拟合和过拟合的折中，在不过度增加偏差的情况下显著减少方差。正则化能够改变数据分布，让通过模型得到的数据分布尽可能和真实的数据生成过程相匹配。

    机器学习的任务是拟合出一个从输入x到输出y的分布， 拟合的过程使用的是使期望风险函数最小化的过程，正则化处理使待最小化的函数中既包含结构化的误差函数，也包含人为引入的正则化项。由于未知分布的期望风险不能直接求解，因而需要引入训练数据集，以在训练数据集上计算出的经验风险来近似期望风险， 并通过经验风险最小化实现期望风险最小化。

    以上就是学习算法的整体流程，