机器学习算法之正则化

>By joey周琦

正则化

假设目标函数为$J$, 比如$J$可以是对数似然函数的负数形式，特征$i$的系数为$w_i$, 系数向量 $w = [w_1,...,w_K]$,假设一共有$K$个备选类。 机器学习（分类为例）的目标就是要解决一个优化问题

$$w = \arg \min \limits_w L(w)$$

而为了避免模型的过拟合(overfitting), 所以需要在这里进行正则化（regularization）[2]。正则化的主要思想就是控制系数$|w|$的大小，从而控制模型的复杂度，减小过拟合，提高泛化能力，常见的正则化选择有一阶和二阶，如下
二阶(L2)：

$$w =\arg \min \limits_w L(w) + \alpha/2 \sum \limits_{k=1}^K w_k^2$$

一阶(L1)：

w=argminwL(w)+α∑k