正则项L1和L2

正则项

摘要

本文章主要讲述了L1和L2的基本定义，以及其所具有的性质，如下：

• L1
  它的主要特性是能够产生稀疏解，某种程度上使得增加模型的”解释性“
• L2
  它的主要特性是偏向于求得较小的解，通过限制权重的大小实现了对模型空间的限制，从而一定程度可以避免过拟合

针对他们的性质，从三个方面做了求证，最后从先验分布的角度将L1、L2和概率分布做了关联，其中L1假设参数服从拉普拉斯分布，L2假设参数服从高斯分布。

1. 正则化的定义

维基百科中给正则项做出了如下的解释，

In mathematics, statistics, and computer science, particularly in machine learning and inverse problems, regularization is the process of adding information in order to solve an ill-posed problem or to prevent overfitting.

简单理解：正则项是通过添加信息来解决不适定问题（ill-posed）或者防止过拟合，其应用范围很广，包括数理统计、图像以