欧几里得范数_机器学习入门之范数与正则化

0.导语

研究一下范数与正则化，并做相应记录！

1.范数

范数(Norm)是具有度量性质的函数，在机器学习中，经常用来衡量向量的大小。

范数把一个向量映射为一个非负值的函数，我们可以将一个向量x，经范数后表示点距离原点的距离，那么L^p范数定义如下：
其中p属于R，p大于等于1。

2.经典范数

(1)L0范数：表示统计向量中非零元素的个数(不是严格意义上的范数)。

我们可以通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题(L0范数同样是非凸的)。