logistic回归（二）logistic的正则化

正如前面线性回归一样，logistic一样会产生过拟和，那么对于过拟合以后的
logistic回归我们还是采用L1与L2正则来进行防止过拟合。
求解过程如下：

2、对于L1正则，和线性回归的L1正则类似，同样采用角坐标的方法进行求解，具体请参考线性回归求解

L1比起L2范数具有稀疏性的特点。比如我们把L1应用在逻辑回归，则最后得出来的参数很多会变成0。所以L1范数也可以用于特征选择。
那为什么L1会产生稀疏性，则L2范数却没有这个特点呢 这个问题可以从几何的角度来考虑。

从图中可以看出，L1正则的往往会使最优的切分点在坐标轴上。
那么是不是L1一定比L2要好呢：
2、L1和L2的区别
比起L2，L1确实有更多的功效。但从计算的角度来讲，L1范数的挑战要大很多。一旦目标函数里包含了L1的正则，则优化起来会比较麻烦。主要的原因是L1范数在0点不具备梯度，所以需要做一些特殊处理，比如使用subgradient来代替梯度。

所以往往L1更多的是用来做特征选择的。
3、最大后验概率

logistic回归时选择的是最大化先验估计，而最大化后验估计则是将这个结果反过来，代表在样本已知的情况下，使得θ的可能性最大，可以表示为后面那个式子。

其中将（$0-log\surd 2\Pi \sigma$舍去，是因为σ已知是个常数和θ没有关系）