1. 目标函数
w ∗ = a r g min w ∑ i L ( y i , f ( x i ; w ) ) + λ Ω ( w ) . w^* = arg \min_{w} \sum_i^{} L(y_i, f(x_i;w)) + \lambda \Omega(w). w∗=argwmini∑L(yi,f(xi;w))+λΩ(w).
L L L是损失函数, y i y_i yi是标签, x i x_i xi是输入, w w w是参数, f f f是输出。 Ω \Omega Ω是规则化函数, λ \lambda λ是规则化系数。
2. 学习方法
2.1 支持向量机SVN
2.2 提升方法Boosting
AdaBoost
2.3 逻辑回归Logistic Regression
3. 规则化函数
规则化函数在这里介绍。