【分类算法】学习笔记(2)——逻辑回归

Logistic regression

逻辑回归，“逻辑”之意与logistic 和 logit 的含义相差甚远，是指”对数“的意思，所以也叫**对数几率回归*；另外虽然叫” 回归 “，但实际是一种分类的方法，逻辑回归是一种线性分类器。

• 算法思想： 根据现有数据对分类边界线建立回归公式，以此进行分类。所以，训练算法的母的就是为了找到最佳的分类回归系数。
• 优点：算法简单，计算量小，速度快。
• 缺点 : 容易过拟合，一般准确度不高。

Logistic 回归分类器

逻辑回归主要是假设数据服从伯努利分布，然后通过极大似然函数的方法，运用梯度下降等方式进行求解参数，来达到将数据二分类的目的。

1、假设数据服从伯努利分布，假设样本为正的概率为$p(y=1|x)=h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，则样本为负的概率为$p(y=-1|x)=1-h_{\theta }(x)=\frac{e^{-{\theta }^{T}x}}{1+e^{-{\theta }^{T}x}}$，逻辑回归表达式为：$$h_{\theta }(x;\theta )=\frac{1}{1+e^{-{\theta }^{T}x}}\text{\hspace{1em}(1)}$$
2、使用极大似然函数作为损失函数，因为将极大似然函数取对数就等同于对数似然函数，在逻辑回归下，对数损失函数的训练求解参数的速度比较快。由于数据服从伯努利分布，所以最大化似然函数为：
$$L_{\theta }(x)=\prod _i{h}_{\theta }(x{)}^{y_i}(1-h_{\theta }(x){)}^{1-y_i}\text{\hspace{1em}(2)}$$

对（2）式取对数为： $$\begin{gathered} \ln L_{\theta }(x)=\sum _i{y}_i\ln h_{\theta }(x)+(1-y_i)\ln (1-h_{\theta }(x)) \\ =\sum _i{y}_i\ln \frac{1}{1+e^{-{\theta }^T{x}_i}}+(1-y_i)\ln \frac{e^{-{\theta }^T{x}_i}}{1+e^{-{\theta }^T{x}_i}} \\ =\sum _i{y}_i\ln \frac{e^{{\theta }^T{x}_i}}{1+e^{{\theta }^T{x}_i}}+(1-y_i)(\ln \frac{1}{1+e^{{\theta }^T{x}_i}}) \\ =\sum _i{y}_i{\theta }^T{x}_i+\ln \frac{1}{1+e^{{\theta }^T{x}_i}} \end{gathered}$$
反之最小化如下函数：$$L(\theta )=\sum _i-y_i{\theta }^T{x}_i+\ln (1+e^{{\theta }^T{x}_i})\text{\hspace{1em}(3)}$$

3、用梯度下降法求解参数：
再对(3)中$\theta$偏导： $$\begin{gathered} \frac{\partial L(\theta )}{\partial \theta }=\sum _i-y_i{x}_i+\frac{e^{{\theta }^T{x}_i}{x}_i}{1+e^{{\theta }^T{x}_i}} \\ =\sum _i-y_i{x}_i+x_i{h}_{\theta }(x_i) \\ =\sum _i(y_i-h_{\theta }(x_i))x_i \end{gathered}$$ 参数更新公式为：$${\theta }^{t+1}={\theta }^t+\alpha [y_i-h_{\theta }(x_i)]x_i$$

逻辑回归需要解决的问题

• 易过拟合——在损失函数上加入正则项：$$J(\theta )=L(\theta )+\lambda \Vert w{\Vert }_p$$通过惩罚较大参数从而防止过拟合。
• 多分类问题——将sigmoid函数换成softmax函数：$$p(y=i|x;\theta )=\frac{e^{{\theta }_{i}x}}{{\sum }_j{e}^{{\theta }_{j}x}}$$
• 线性不可分问题——加入核函数