机器学习系列 | 逻辑回归详细讲解

1. 逻辑回归的模型函数

前面我们讲了线性回归模型，将线性模型用于回归问题中。这篇我们讲一下线性模型用于分类任务。在二分类问题中，对于线性回归所产生的预测值
$$z={\theta }^{T}x$$
我们需将这个预测值$z$转化为0/1值，最理想的是“单位阶跃函数”，即若预测值$z$大于零就判为1，若预测值$z$小于零则判为反例，预测值为临界值则可以任意判别。但是由于单位阶跃函数不连续，我们希望可以找到一个连续的，同时在一定程度上近似“单位阶跃函数“的函数，那么逻辑斯特函数(logistic function)则是一个很不错的替代函数：
$$y=\frac{1}{1+e^{-z}}$$
如下图所示，这是一种"Sigmoid"函数，它将$z$值转化为一个接近0或1的y值。

我们将$z={\theta }^{T}x$代入上式，最终得到逻辑回归的模型函数，如下
$$y=\frac{1}{1+e^{-{\theta }^{T}x}}$$

作者个人理解：“单位阶跃函数”是将预测值直接转换为分类，而“逻辑斯特函数”是将预测值转换为0-1之间的一个数y，这个值正好可以当成某一类别的概率值，从而实现分类。

2. 逻辑回归的目标函数

逻辑回归的模型函数已经知道，求逻辑回归的模型函数，其实就是确定该模型函数中$\theta$这个参数的值。在讲如何求这个参数之前，需要求得逻辑回归的目标函数，而在求解目标函数的过程中，需先讲解一下以下知识点：

一个事件的几率（odds）：指该事件发生与不发生的概率比值，若事件发生概率为$p$，那么事件发生的几率就是
$$odds=\frac{p}{1-p}$$
那么该事件的**对数几率（log odds,亦称logit）**就是：
$$logit(p)=ln\frac{p}{1-p}$$
将式子
$$y=\frac{1}{1+e^{-{\theta }^{T}x}}$$

转化为如下
$$ln\frac{y}{1-y}={\theta }^{T}x$$
也就是说，输出y的对数几率是由输入x的线性函数表示的模型，这就是逻辑回归模型。当${\theta }^{T}x$的值越接近正无穷，y的值是越接近1的，那么我们将y视为样本x为正例，即y=1的概率。那么上述公式可转化为如下
$$ln\frac{p(y=1|x)}{p(y=0|x)}={\theta }^{T}x$$
从而得
$$\begin{gathered} p(y=1|x)=\frac{e^{{\theta }^{T}x}}{1+e^{{\theta }^{T}x}} \\ p(y=0|x)=\frac{1}{1+e^{{\theta }^{T}x}} \end{gathered}$$
进一步可转化为
$$p(y|x)=y\frac{e^{{\theta }^{T}x}}{1+e^{{\theta }^{T}x}}+(1-y)1+$$