正如前面线性回归一样,logistic一样会产生过拟和,那么对于过拟合以后的
logistic回归我们还是采用L1与L2正则来进行防止过拟合。
求解过程如下:
2、对于L1正则,和线性回归的L1正则类似,同样采用角坐标的方法进行求解,具体请参考线性回归求解
L1比起L2范数具有稀疏性的特点。比如我们把L1应用在逻辑回归,则最后得出来的参数很多会变成0。所以L1范数也可以用于特征选择。
那为什么L1会产生稀疏性,则L2范数却没有这个特点呢 这个问题可以从几何的角度来考虑。
从图中可以看出,L1正则的往往会使最优的切分点在坐标轴上。
那么是不是L1一定比L2要好呢:
2、L1和L2的区别
比起L2,L1确实有更多的功效。但从计算的角度来讲,L1范数的挑战要大很多。一旦目标函数里包含了L1的正则,则优化起来会比较麻烦。主要的原因是L1范数在0点不具备梯度,所以需要做一些特殊处理,比如使用subgradient来代替梯度。
所以往往L1更多的是用来做特征选择的。
3、最大后验概率
logistic回归时选择的是最大化先验估计,而最大化后验估计则是将这个结果反过来,代表在样本已知的情况下,使得θ的可能性最大,可以表示为后面那个式子。
其中将(
0
−
l
o
g
√
2
Π
σ
0-log√2Πσ
0−log√2Πσ舍去,是因为σ已知是个常数和θ没有关系)
logistic回归(二)logistic的正则化
最新推荐文章于 2023-04-19 19:11:39 发布