L0、L1、L2范数

范数

L0范数：是指向量中非0的元素的个数

L1范数：是指向量中各个元素绝对值之和

L2范数：是指向量各元素的平方和然后求平方根

 

作用

1.  L1范数和L0范数可以实现稀疏（让向量中非0的元素的个数尽量少）

• L1因具有比L0更好的优化求解特性（L0范数是NP难问题很难优化求解，L1范数是L0范数的最优凸近似）而被广泛应用。
• 应用在特征选择或者可解释上

2. L2可以防止过拟合

• 最小化L2范数的规则项，可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。这样得到的模型抗干扰能力强，参数很小时，即使样本数据x发生很大的变化，模型预测值y的变化也会很有限。