本文介绍了正则化的概念，特别是L1和L2范数的区别。L1范数作为正则项可以导致模型参数稀疏化，从而进行特征选择并提高模型的可解释性。L1正则化通过让不重要特征的参数趋于0，实现了特征的筛选。文章还探讨了L1正则化产生稀疏解的两种解释，并指出在解决过拟合问题时，L2正则化通常更为常用。
-
范数的公式
范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下：
L1范数
当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。
L2范数
当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。
-
实际应用与选择
下面以sklearn里逻辑回归算法为例，具体看下两者的不同
创建逻辑回归模型时，有个参数 penalty ，其取值有‘l1’或‘l2’，实际上就是指定前面介绍的正则项的形式。
L1 范数是指向量中各个元素绝对值之和，也叫“稀疏规则算子”（Lasso regularization）。范数作为正则项，会让模型参数θ稀疏化， 既让模型参数向量里为0的元素尽量多。在支持向量机（support vector machine&#x
最低0.47元/天 解锁文章
916
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
