学习笔记——机器学习--逻辑回归理论推导

  在介绍Logistic Regression之前我们先简单说一下线性回归，，线性回归的主要思想就是通过历史数据拟合出一条直线，用这条直线对新的数据进行预测
线性回归的公式如下：

$$\begin{align} y={{h}_{\theta }}(x)={{\theta }_{0}}+{{\theta }_{1}}{{x}_{1}}+{{\theta }_{2}}{{x}_{2}}+\cdots +{{\theta }_{n}}{{x}_{n}}={{\theta }^{T}}x \end{align}$$

  而对于Logistic Regression来说，其思想也是基于线性回归（Logistic Regression属于广义线性回归模型）。其公式如下：

$$\begin{align} & {{h}_{\theta }}(x)=g({{\theta }^{T}}x)=\frac{1}{1+{{e}^{-{{\theta }^{T}}x}}} \\ & \ \ \ \ \ \ \ g(z)=\frac{1}{1+{{e}^{-z}}} \\ \end{align}$$

  被称作sigmoid函数，我们可以看到，Logistic Regression算法是将线性函数的结果映射到了sigmoid函数中。
sigmoid的函数图形如下：

  可以看到，sigmoid的函数输出是介于（0，1）之间的，中间值是0.5，于是之前的公式${{h}_{\theta }}(x)$的含义就很好理解了，因为${{h}_{\theta }}(x)$输出是介于（0，1）之间，也就表明了数据属于某一类别的概率，例如 ：
         ${{h}_{\theta }}(x)<0.5$则说明当前数据属于A类；
         ${{h}_{\theta }}(x)>0.5$则说明当前数据属于B类。
  所以我们可以将sigmoid函数看成样本数据的概率密度函数。有了上面的公式，我们接下来需要做的就是怎样去估计参数$\theta$。
  首先我们来看，$\theta$函数的值有特殊的含义，它表示${{h}_{\theta }}(x)$结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

$$\begin{align} & P(y=1\left| x \right.;\theta )={{h}_{\theta }}(x) \\ & P(y=0\left| x \right.;\theta )=1-{{h}_{\theta }}(x) \end{align}$$

根据上式，接下来我们可以使用概率论中极大似然估计的方法去求解损失函数，首先得到概率函数为：

$$\begin{align} P(y\left| x \right.;\theta )={{({{h}_{\theta }}(x))}^{y}}\times {{(1-{{h}_{\theta }}(x))}^{1-y}} \end{align}$$

  因为样本数据(m个)独立，所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为：

$$\begin{align} & L(\theta )=\underset{i=1}{\overset{m}{\mathop{\Pi }}}\,P({{y}^{(i)}}\left| {{x}^{(i)}} \right.;\theta ) \\ & \ \ \ \ \ \ \ \ =\underset{i=1}{\overset{m}{\mathop{\Pi }}}\,{{({{h}_{\theta }}({{x}^{(i)}}))}^{{{y}^{(i)}}}}\times {{(1-{{h}_{\theta }}({{x}^{(i)}}))}^{1-{{y}^{(i)}}}} \\ \end{align}$$

取对数似然函数：

$$\begin{align} & l(\theta )=log(L(\theta ))=\sum\limits_{i=1}^{m}{\log ({{({{h}_{\theta }}({{x}^{(i)}}))}^{{{y}^{(i)}}}})+log({{(1-{{h}_{\theta }}({{x}^{(i)}}))}^{1-{{y}^{(i)}}}})} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{{{y}^{(i)}}\log ({{h}_{\theta }}({{x}^{(i)}}))+(1-{{y}^{(i)}})log((1-{{h}_{\theta }}({{x}^{(i)}}))} \\ \end{align}$$

给出损失函数$J(\theta )=l(\theta )$，对$J(\theta )$求偏导数

$$\begin{align} & \frac{\partial }{\partial {{\theta }_{j}}}J(\theta )=\frac{\partial }{\partial {{\theta }_{j}}}\left( \sum\limits_{i=1}^{m}{{{y}^{(i)}}\log ({{h}_{\theta }}({{x}^{(i)}}))+(1-{{y}^{(i)}})log((1-{{h}_{\theta }}({{x}^{(i)}}))} \right) \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( \frac{{{y}^{(i)}}}{{{h}_{\theta }}({{x}^{(i)}})}-\frac{(1-{{y}^{(i)}})}{1-{{h}_{\theta }}({{x}^{(i)}})} \right)\frac{\partial }{\partial {{\theta }_{j}}}{{h}_{\theta }}({{x}^{(i)}})} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( \frac{{{y}^{(i)}}}{g({{\theta }^{T}}{{x}^{(i)}})}-\frac{(1-{{y}^{(i)}})}{1-g({{\theta }^{T}}{{x}^{(i)}})} \right)\frac{\partial }{\partial {{\theta }_{j}}}g({{\theta }^{T}}{{x}^{(i)}})} \\ \end{align}$$

因为

$$\begin{align} g({{\theta }^{T}}x)=\frac{1}{1+{{e}^{-{{\theta }^{T}}x}}} \end{align}$$

所以

$$\begin{align} \frac{\partial }{\partial {{\theta }_{j}}}g({{\theta }^{T}}{{x}^{(i)}})=\frac{\partial }{\partial {{\theta }_{j}}}(\frac{1}{1+{{e}^{-{{\theta }^{T}}{{x}^{(i)}}}}})=-\frac{-{{e}^{-{{\theta }^{T}}{{x}^{(i)}}}}}{{{(1+{{e}^{-{{\theta }^{T}}{{x}^{(i)}}}})}^{2}}}\cdot \frac{\partial }{\partial {{\theta }_{j}}}{{\theta }^{T}}{{x}^{(i)}} \end{align}$$
$$\begin{align} & \frac{\partial }{\partial {{\theta }_{j}}}J(\theta )\ =\sum\limits_{i=1}^{m}{\left( \frac{{{y}^{(i)}}}{g({{\theta }^{T}}{{x}^{(i)}})}-\frac{(1-{{y}^{(i)}})}{1-g({{\theta }^{T}}{{x}^{(i)}})} \right)\left( -\frac{-{{e}^{-{{\theta }^{T}}{{x}^{(i)}}}}}{{{(1+{{e}^{-{{\theta }^{T}}{{x}^{(i)}}}})}^{2}}}\cdot \frac{\partial }{\partial {{\theta }_{j}}}{{\theta }^{T}}{{x}^{(i)}} \right)} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( \frac{{{y}^{(i)}}}{g({{\theta }^{T}}{{x}^{(i)}})}-\frac{(1-{{y}^{(i)}})}{1-g({{\theta }^{T}}{{x}^{(i)}})} \right)g({{\theta }^{T}}{{x}^{(i)}})(1-g({{\theta }^{T}}{{x}^{(i)}}))\frac{\partial }{\partial {{\theta }_{j}}}{{\theta }^{T}}{{x}^{(i)}}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( \frac{{{y}^{(i)}}}{g({{\theta }^{T}}{{x}^{(i)}})}-\frac{(1-{{y}^{(i)}})}{1-g({{\theta }^{T}}{{x}^{(i)}})} \right)g({{\theta }^{T}}{{x}^{(i)}})(1-g({{\theta }^{T}}{{x}^{(i)}}))\frac{\partial }{\partial {{\theta }_{j}}}({{\theta }_{0}}+{{\theta }_{1}}x_{1}^{(i)}+{{\theta }_{2}}x_{2}^{(i)}+\cdots {{\theta }_{j}}x_{j}^{(i)}\cdots +{{\theta }_{n}}x_{n}^{(i)})} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( {{y}^{(i)}}(1-g({{\theta }^{T}}{{x}^{(i)}}))-g({{\theta }^{T}}{{x}^{(i)}})(1-{{y}^{(i)}}) \right)\cdot x_{j}^{(i)}} \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\sum\limits_{i=1}^{m}{\left( {{y}^{(i)}} - {{h}_{\theta }}({{x}^{(i)}})\right)\cdot x_{j}^{(i)}} \end{align}$$

从而迭代$\theta$至收敛即可：

$${{\theta }_{j}}:={{\theta }_{j}}+\alpha\sum\limits_{i=1}^{m}{\left( {{y}^{(i)}} - {{h}_{\theta }}({{x}^{(i)}})\right)\cdot x_{j}^{(i)}}$$