逻辑回归的数学原理与MLP的思想之根

对于连续的问题使用线性回归和多项式回归是有效的，但是对于数据特征呈现出较强的离散性时，则必须使用逻辑回归。如下图所示：

橙色和青色的点如果直接用线性回归来拟合显然是效果不好的。

一个很自然的感觉是上述两种数据呈现阶跃函数形状，这是由信号与系统的知识背景联想得到。但是阶跃函数本身的性质不好处理(如微分)，对于计算机来说并没有太大的实际意义，因此研究者们找到了sigmoid函数来替代阶跃函数。
$$\begin{array}{r}sigmoid(x)=\frac{1}{1+e^{-x}}\end{array}\text{\hspace{1em}(1)}$$
按照线性回归对数据进行处理，得到如下的直线方程:
$$\begin{array}{r}y(x)=ax+b\end{array}\text{\hspace{1em}(2)}$$
sigmoid函数接受任意大小实数为输入值，输出值将其限制在$0-1$之间。如果我们将得到的直线方程$(2)$作为sigmoid函数的输入，那么最终模型的输出值将在$0-1$之间，这又于概率联系起来。
$$\begin{array}{r}P(x)=\frac{1}{1+e^{-(ax+b)}}\end{array}\text{\hspace{1em}(3)}$$
对$(3)$式整理得到：
$$\begin{array}{r}log\frac{P(x)}{1-P(x)}=ax+b\end{array}\text{\hspace{1em}(4)}$$
$log\frac{P(x)}{1-P(x)}$被称为对数几率函数$(Log-odds)$，$\frac{P(x)}{1-P(x)}$被称为几率$(odds)$。

因此，逻辑回归模型只需要设置合理的阈值即可完成分类任务，比如此处设置阈值为$0.5$。需要注意的是逻辑回归只能用于解决二分类问题，将他推广为多项逻辑回归模型，也就是$softmax$回归，可以处理多类分类问题。
逻辑回归具有如下的优点：
1.直接对分类概率建模，无需实现假设数据的分布；
2.不仅可以预测出类别，还可以预测出近似概率；
3.对数几率函数性质好，任意阶可导且是凸函数；

逻辑回归(logistic regression)由统计学家David Cox于1958年提出，同年，美国心理学家 Frank Rosenblatt提出了感知机，此时的感知机激活函数仍然为传统的阶跃函数。可以说，逻辑回归的思想影响了人工神经网络的发展，将单纯的离散分类问题转换为了求解概率的连续问题，也为后来大名鼎鼎的$BP$算法打下基础。如今，具有惊人效果的神经网络中必不可少的激活函数机制，其根在逻辑回归，可见科学的大厦就是这样一步一步建成的。