Sklearn用户手册(五)：回归二

继续回归.
(正交匹配追踪算法(OMP)与贝叶斯回归完全没接触过，先略过。。。)

逻辑回归

如果忽略名称的话，逻辑回归更像是一个分类模型而不是回归模型。一般还被称为最大熵分类模型或者对数线性分类器。在该模型中，通过对数函数求得概率，然后用来描述样本更可能分到某一类。

sklearn中实现逻辑回归的函数是LogisticRegression。可以用于二分类问题也可以是多分类，并且可以选择添加L1或者L2惩罚项。

逻辑回归中需要优化的目标函数如下:
带有L2惩罚项:

$$min_{\omega,c}\frac{1}{2}\omega^T\omega+C\sum_{i=1}^{n}log(exp(-y_i(X_i^T\omega+c))+1)$$
带有L1惩罚项：

minω,c||ω||1+C