机器学习_范数规则化

1.范数的定义：（x1^r+x2^r）^(1/r) 。

2.范数可以规则化参数

3.规则化参数的好处：

【1】先验知识的融入 eg 稀疏性：实现特征选择

l0范数：参数非零元素的个数，l0范数越小，越稀疏

l1范数：因为l0范数不好计算，而l1范数是l0的最优凸近似，更容易求解，所以稀疏性一般用l1范数

【2】防止过拟合

l1范数：其实也可以

l2范数：l2范数很小，代表函数的每一个参数很小，意味着x的变动曲线不会太波折，避免过度拟合

4.问题

【1】l2范数有助于优化求解角度，并没有深究，遇到再去看

4.参考http://blog.csdn.net/zouxy09/article/details/24971995