>By joey周琦
正则化
假设目标函数为 J , 比如
而为了避免模型的过拟合(overfitting), 所以需要在这里进行正则化(regularization)[2]。正则化的主要思想就是控制系数 |w| 的大小,从而控制模型的复杂度,减小过拟合,提高泛化能力,常见的正则化选择有一阶和二阶,如下
二阶(L2):
w=argminwL(w)+α/2∑k=1Kw2k
一阶(L1):
w=argminwL(w)+α∑k
>By joey周琦
假设目标函数为 J , 比如
而为了避免模型的过拟合(overfitting), 所以需要在这里进行正则化(regularization)[2]。正则化的主要思想就是控制系数 |w| 的大小,从而控制模型的复杂度,减小过拟合,提高泛化能力,常见的正则化选择有一阶和二阶,如下
二阶(L2):
一阶(L1):