机器学习第一话：初识逻辑回归

逻辑回归（Logistic regression）

什么是逻辑回归？

在我们以前的学习中，回归通常是指利用给定的样本信息$X(x_1,x2,...,x_n)$建立一个回归表达式，例如:
$$y={\beta }_{0}x1+\beta 1x2+...+{\beta }_n{x}_x$$
最终我们得到是一个值$\hat{y}$。对于预测某个样本是正例还是负例这种普通回归就不太适用，因为我们预测某个值是正例还是负例时，预测值$\hat{y}$需要保证是在（0,1）范围内。
这时我们就需要使用逻辑回归。逻辑回归是一类经典的二分类算法，在使用机器学习算法时，我们一般使用简单的，若问题能得到很好的解决，那么就是用简单的，其次再考虑使用复杂的。

sigmoid函数

在正式介绍逻辑回归算法时，需要介绍一个辅助函数：sigmoid 函数。
公式：$g(z)=\frac{1}{1+e^{-z}}$.
其图像为：

函数值域为[0,1]，可将任意值映射到[0,1]区间中，实现由值到概率的转换，即可以用来实现分类任务。
其导数为：$\frac{dg(z)}{dz}=g(z)\times (1-g(z))$

逻辑回归参数求解

注：以下的$log(x)=ln(x)$

似然函数

预测函数：
$$h_{\theta }(X)=g({\theta }^{T}X)=\frac{1}{1+e^{-{\theta }^{T}X}}$$,
其中${\theta }^{T}X=\sum _{i=0}^n{\theta }_i{x}_i={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$.

对于分类任务而言：$h_{\theta }(X)$就是样本为1的概率。那么：
$$P=P(y=1|X;\theta )=h_{\theta }(X)$$
$$1-P=P(y=0|X;\theta )=1-h_{\theta }(X)$$.
整合一下得到：
$$P(y|X;\theta )=(h_{\theta }(X){)}^y(1-h_{\theta }(X){)}^{1-y}$$

根据极大似然估计思想，为了解得参数向量$\theta$，需要使似然函数最大。其中，似然函数如下：
$$L(\theta )=\prod _{i=1}^{m}P(y_i|X;\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}_i^y(1-h_{\theta }(x_i){)}^{1-y_i}$$.
对数似然函数如下：
$$l(\theta )=logL(\theta )=\sum _{i=1}^m(y_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i)))$$.

参数更新

为了使用梯度下降法求解，引入$J(\theta )=-\frac{1}{m}l(\theta )$.

对${\theta }_j$求偏导：
$$\frac{\delta J(\theta )}{\delta {\theta }_j}=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_{ij}$$
其中，$x_{ij}$表示第i个样本的第j个特征。
那么参数更新过程为：
$${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_{ij}$$.

参数解释

逻辑回归相较于其他的机器学习方法，其优点在于其参数可以明确解释。
$P$表示样本为正例的概率，则$\frac{P}{1-P}$为胜率，
已知$P=\frac{1}{1+e^{-{\theta }^{T}X}}$,那么：
$$\frac{P}{1-P}=e^{{\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n}$$,
当$x_1$变为$x_1+1$此时概率为$P^{\ast }$,则有
$$\begin{array}{rl}\frac{P^{\ast }}{1-P^{\ast }}& =e^{{\theta }_0+{\theta }_1（x_1+1）+...+{\theta }_n{x}_n}\\ & =e^{{\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n}\times e^{\theta 1}\end{array}$$
即在其他$x$保持不变时，若$x_1$增加一个单位，那么胜率就变为原来的$e^{{\theta }_1}$倍。