范数学习总结

L0范数

即为非零元素的个数。L0范数表示的是向量中非零元素的个数。L0范数的这个属性，使其非常适用于机器学习中的稀疏编码。在特征选择中，通过最小化L0范数来寻找最少最优的稀疏特征项。但是，L0范数的最小化问题是NP难问题。而L1范数是L0范数的最优凸近似，它比L0范数要更容易求解。因此，优化过程将会被转换为更高维的范数

 

L1范数

L1范数为向量中各个元素绝对值之和，在机器学习特征选择中，稀疏规则化能够实现特征的自动选择。一般来说，输入向量X的大部分元素（也就是特征）都是和最终的输出Y没有关系或者不提供任何信息的，在最小化目标函数的时候考虑这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确Y的预测。稀疏规则化算子的引入就是为了完成

另一个青睐于稀疏的理由是，模型更容易解释。例如患某种病的概率是y，然后我们收集到的数据x是1000维的，也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设这是个回归模型：

 

当然了，为了让y限定在的范围，一般还得加个Logistic函数。 通过学习，如果最后学习到的就只有很少的非零元素，例如只有5个非零的，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，决策性的。也就是说，患不患这种病只和这5个因素有关，那医生就好分析多了。但如果1000个都非0，医生面对这1000种因素只能一脸懵逼不知如何是好。

特征自动选择，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。

L2范数

L2范数是最常用的范数了，我们用的最多的度量距离欧氏距离就是一种L2范数。在回归里面，有人把加了L2范数项的回归c称为“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。它被广泛的应用在解决机器学习里面的过拟问题合。

为什么L2范数可以防止过拟合？回答这个问题之前，我们得先看看L2范数实际上是什么。

L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项最小，可以使得的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0，这是有很大的区别的。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。为什么越小的参数说明模型越简单？因为当限制了参数很小，实际上就限制了多项式某些分量的影响很小（看上面线性回归的模型的那个拟合的图），这样就相当于减少参数个数。