机器学习正则化

正则化项可以是模型参数向量的范数

首先，范数是指推广到高维空间中的模，给定向量x=(x1,x2,x3,...,xn)，常用的向量的范数如下：

L0范数：向量非零元素的个数

L1范数：向量各个元素绝对值之和 ，也被称为“稀疏规则算子”

L2范数：向量各个元素的平方和然后求平方根，也被称为“岭回归”和“权值缩减”

Lp范数：:向量各个元素绝对值的p次方求和然后求1/p次方

L范数：向量各个元素求绝对值，选取最大元素的绝对值

正则化后会导致参数稀疏，一个好处是可以简化模型，避免过拟合。因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么可以对训练数据可以预测的很好，但是对测试数据就只能呵呵了。另一个好处是参数变少可以使整个模型获得更好的可解释性。

且参数越小，模型就会越简单，这是因为越复杂的模型，越是会尝试对所有的样本进行拟合，甚至包括一些异常样本点，这就容易造成在较小的区间里预测值产生较大的波动，这种较大的波动也反映了在这个区间里的导数很大，而只有较大的参数值才能产生较大的导数。因此复杂的模型，其参数值会比较大