细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（长文）

好早之前就发现逻辑斯蒂回归好像和朴素贝叶斯里面的后验概率公式还有最大似然、信息熵、交叉熵、伯努利分布、回归分析、几率（odds）等等有着千丝万缕CZFZ（错综复杂）、PSML（扑朔迷离）的关系。一直感觉逻辑斯蒂分布好像在很多地方都比较受宠并且有一些优良的性质经常被提及，不过又说不太清楚到底是怎么回事。

于是， 我终于， 去翻了教材讲义知乎CSDN之后， 把这些东西给理清楚了!

这是一篇非非非非常长的文章
也可以戳下面链接看分节的版本哟~

细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（一）
细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（二）
细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（三）
细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（四）
细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（五）
细讲逻辑斯蒂回归与朴素贝叶斯、最大熵原理的爱恨交织（六）


长文预警 $\Downarrow$，ready？

第一节 —— 另辟蹊径从生态学入手

种群生态学考虑单一物种的生存模式和状态。其中，关于种群个体数量的变化，有所谓的马尔萨斯模型和逻辑斯蒂模型。

马尔萨斯模型
种群在某一状态下增长速率与种群个体数成正比。种群越大，增速越快。 这比较好理解，例如一只羊一年生一只，那么三只羊一年就能生三只。种群个体数从一变成三增了三倍，种群数量的增速也变为了原来的三倍。 把这个正比关系写成微分方程：y(t) 表示种群大小，它是时间 t 的函数。r 是比值系数：

$$\frac{dy(t)}{dt}=r\cdot y(t)$$

解这个微分方程:

$$\frac{1}{y}dy=rdt$$

$$\Rightarrow \int \frac{1}{y}dy=\int rdt$$

$$\Rightarrow logy=rt$$

$$\Rightarrow y=e^{rt}$$

原来这就是我们熟悉的指数函数。

这个模型的不足在于，它只考虑了“生”的过程，没考虑“存”的实际情况。即便“生”的速率与种群大小成正比，但是能否存活还要受环境因素的制约。

逻辑斯蒂模型

种群大小增长到一定程度后，由于种内个体之间争夺有限的资源，存活率就会下降，导致种群个体数量的增长率下降。于是，有人对上述模型进行了改进，就有了（生态学中的）逻辑斯蒂模型。

这个模型依旧是用一个微分方程表示种群个体数量与增长速率的关系：$$\frac{dy(t)}{dt}=ry(t)\times [1-\frac{y(t)}{K}]$$
K可以解读为环境最大容纳量（capacity），r依旧是比值系数。解这个微分方程：
$$dy=\frac{r}{K}\cdot y\cdot (K-y)dt$$

$$\frac{1}{Ky-y^2}dy=\frac{r}{K}dt$$

$$\int \frac{1}{Ky-y^2}dy=\int \frac{r}{K}dt$$
$$\frac{logy-log(K-y)}{K}=\frac{r}{K}\cdot t(0<y<K)$$

$$log(\frac{y}{K-y})=rt$$

$$\frac{y}{K-y}=e^{rt}$$

$$y=\frac{K{e}^{rt}}{1+e^{rt}}=\frac{K}{1+e^{-rt}}$$

最后这个红色的解，是不是很熟悉？？？是不是很像炼丹师抬头不见低头见的sigmoid？！

我们对y求导：

$y^{\prime }=\frac{-K(-r)e^{rt}}{(1+e^{-rt}{)}^2}$

$=Kr\cdot \frac{1}{1+e^{-rt}}\cdot \frac{e^{-rt}}{1+e^{-rt}}$

$=Kr\cdot \frac{1}{1+e^{-rt}}\cdot (1-\frac{1}{1+e^{-rt}})$

$=ry(1-\frac{y}{K})\Leftarrow$ 符合最一开始的微分方程

忽略掉那些系数，可以概括为，对于满足逻辑斯蒂模型的函数，它的导数等于 (它自己) $\times$ (1 - 它自己)

特别地，当K = r = 1时，$y=\frac{1}{1+e^{-t}}=\sigma (t)$ sigmoid成功现形！

$$y^{\prime }=(\frac{1}{1+e^{-t}})(1-\frac{1}{1+e^{-t}})=y\cdot (1-y)$$

$$\Updownarrow$$

$${\sigma }^{\prime }(t)=\sigma (t)[1-\sigma (t)]$$

第二节 —— 统计回归分析中的逻辑斯蒂

逻辑斯蒂分布
设X是随机变量。逻辑分布指满足如下累计分布函数和概率密度函数的分布：

$$F(x)=P(X\le x)=\frac{1}{1+e^{\frac{-(x-\mu )}{s}}}$$

$$f(x)=F^{\prime }(x)=\frac{e^{\frac{-(x-\mu )}{s}}}{s(1+e^{\frac{-(x-\mu )}{s}}{)}^2}$$

$\mu$：位置参数，决定函数图像沿x轴方向的位移
$s$：形状参数，决定函数图像的高矮胖瘦
大家可以用几何画板画一下$\mu$和$s$取不同值时的图像，直观的理解一下这两个参数的作用。

$F(x)$是以点 $(\mu ,\frac{1}{2})$ 中心对称的曲线。它越靠近中心增长越快。$s$越小，在中心附近的增长越快。

特别地，当 $\mu$=0, $s$=1 时，$F(x)=\frac{1}{1+e^{-x}}=\sigma (x)$

逻辑斯蒂分布有和广泛的而应用。它最早来源于生长曲线的需要，现在还用于经济（例如描述一个产品在广告上投入与最后销售额的关系）、人口统计等领域。

逻辑斯蒂回归
对一个二元分类问题建模。

假设一个工厂生产的产品：达标/不达标 ~$Bernoulli(p)$, p是产品达标的概率。
其中这个p受工厂其他各项指标的影响，比如流水线个数，员工人数，已投入使用时长，当日温度等等。假如我们就把举例的这四个作为特征，也就是说每一条数据（代表一个工厂）的特征向量有四维。

$$\overrightarrow{x_i}=\left\{\begin{array}{c}{x}_{i1}\\ x_{i2}\\ x_{i3}\\ x_{i4}\end{array}\right\}$$

角标的含义：$x_{ij}$代表第 i 条数据的第 j 维。整个数据集的sample总数是N（i = 1, 2, …, N)
逻辑斯蒂回归的dataset应该是这个亚子的：

Index(i)	$r_i$	$n_i$	$P_i$	$\overrightarrow{x_i}$
1	$r_1$	$n_1$	$P_1=\frac{r_1}{n_1}$	$(x_{11}{x}_{12}{x}_{13}{x}_{14})$
2	$r_2$	$n_2$	$P_2=\frac{r_2}{n_2}$	$(x_{21}{x}_{22}{x}_{23}{x}_{24})$
…	…	…	…	…
…	…	…	…	…
N	$r_N$	$n_N$	$P_N=\frac{r_N}{n_N}$	$(x_{N1}{x}_{N2}{x}_{N3}{x}_{N4})$

其中，$P_i$的计算方法就是从这个工厂的产品中抽出n个然后检测出当中有r个达标，用 $\frac{r}{n}$ 作为该工厂产品Bernoulli分布的 p . 刚才我们讲p受工厂的四个特征影响，那么我们的目标就是让p用 $\vec{x}$ 来表示。

Goal: Regress $P_i$ on $\overrightarrow{x_i}$

第一个当然想到的是直接把 $P_i$ 当做线性回归里面的 “y“

$\Rightarrow Model:P_i={\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_4{x}_{i4}+{ϵ}_i$

不过这个不太行，因为 $0\le P_i\le 1$，而 ${\overrightarrow{x_i}}^T\vec{\beta }$ 可能落在这个区间外。这样用 ${\overrightarrow{x_i}}^T\vec{\beta }$ 表示 $P_i$ 就没有意义。

Idea: Do transformation on $P_i$（统计学中 logistic regression 的精髓呀呀呀！）

$\Rightarrow Model:log(\frac{P_i}{1-P_i})={\beta }_0+{\beta }_1{x}_{i1}+...+{\beta }_4{x}_{i4}+{ϵ}_i$

$\iff Model:log(\frac{P_i}{1-P_i})={\overrightarrow{x_i}}^T\vec{\beta }+\overrightarrow{ϵ}$

$\iff Fittedmodel:log(\frac{\widehat{P_i}}{1-\widehat{P_i}})={\overrightarrow{x_i}}^T\hat{\vec{\beta }}$

有 ^ 符号的代表是根据样本数据算出来的参数estimates。对上式做一点变形：

$$Fittedmodel:\widehat{P_i}=\frac{exp({\overrightarrow{x_i}}^T\vec{\beta })}{1+exp({\overrightarrow{x_i}}^T\vec{\beta })}=\frac{1}{1+exp(-{\overrightarrow{x_i}}^T\vec{\beta })}=\sigma ({\overrightarrow{x_i}}^T\vec{\beta })$$

Index(i)	$r_i$	$n_i$	$P_i$	$y=log(\frac{P_i}{1-P_i})$	$\overrightarrow{x_i}$
1	$r_1$	$n_1$	$P_1=\frac{r_1}{n_1}$	$log(\frac{P_1}{1-P_1})$	$(x_{11}{x}_{12}{x}_{13}{x}_{14})$
2	$r_2$	$n_2$	$P_2=\frac{r_2}{n_2}$	$log(\frac{P_2}{1-P_2})$	$(x_{21}{x}_{22}{x}_{23}{x}_{24})$
…	…	…	…	…	…
…	…	…	…	…	…
N	$r_N$	$n_N$	$P_N=\frac{r_N}{n_N}$	$log(\frac{P_N}{1-P_N})$	$(x_{N1}{x}_{N2}{x}_{N3}{x}_{N4})$

具体在计算的时候，把上面那个表格里每一行的 $P_i$ 都算一个相应的
$log(\frac{P_i}{1-P_i})$，并把这个当成线性回归里面的 “y”，剩下的回归就都清楚啦~

下面简单说一下为什么要这么做 transformation。

在统计学中一个事件A的几率：odds = $\frac{P(A)}{1-P(A)}$

对数几率 = $log(\frac{P(A)}{1-P(A)})$

对数几率这个函数叫做 $logit$ 函数：$logit(y)=\frac{y}{1-y}$

回到刚才的例子中，那么A =“达标”。$P_i=P(A|\overrightarrow{x_i})$

$$oddsofAat\overrightarrow{x_i}=\frac{P(A|\overrightarrow{x_i})}{1-P(A|\overrightarrow{x_i})}=\frac{P_i}{1-P_i}$$

$$logoddsofAat\overrightarrow{x_i}=log\left(\frac{P_i}{1-P_i}\right)={\overrightarrow{x_i}}^T\vec{\beta }+\overrightarrow{ϵ}$$

于是，逻辑斯蒂回归用一句话概括就是：用 $\vec{x}$ 的线性函数去拟合了二元事件的对数几率。因此，逻辑斯蒂回归也叫作 “对数几率回归”。

广义线性

一般线性：$y={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+...+{ϵ}_i={\overrightarrow{x_i}}^T\vec{\beta }+\overrightarrow{ϵ}$

广义线性：$transformationofy={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+...+{ϵ}_i={\overrightarrow{x_i}}^T\vec{\beta }+\overrightarrow{ϵ}$

transformation 可以用 $log(y)$， $logit(y)$，${\Phi }^{-1}(y)$ 等等。$\leftarrow {\Phi }^{-1}是正态分布的累计分布函数的反函数$。

在logistic regression中就是用的 $logit$函数做的 transformation。所以，说白了logistic regression依然是Independent variable $\vec{x}$ 的线性模型，只是给Dependent variable 套了一层外衣。

第三节 —— 视角切换到机器学习

我们把刚才统计中的各种符号和术语渐变到机器学习中来。

需要转换的术语	统计回归分析	机器学习
${\vec{x}}_i$	Independent variable of the $i^{th}$ sample	第 i 条数据的特征向量
$\vec{\beta }$	Regression coefficients	权重（参数）$\vec{w}$，需要学习的东西
$P_i$	Dependent variable	输出，要预测的东西
$P_i=\frac{1}{1+exp(-{\overrightarrow{x_i}}^T\vec{\beta })}$ $\Updownarrow$ $y=\sigma ({\vec{w}}^T\vec{x})$	Transformation	Activation function

一切似乎都逐渐明朗了。

${\vec{w}}^T\vec{x}$ 不就是特征的 weighted sum 嘛。假如共有k个特征（b 表示bias）：

$$\vec{w}=\left\{\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ w_k\\ b\end{array}\right\}\overrightarrow{x_i}=\left\{\begin{array}{c}{x}_{i1}\\ x_{i2}\\ .\\ .\\ x_{ik}\\ 1\end{array}\right\}$$

还记不记得最简单粗暴的 Perceptron 二分类？ 神经网络入门时都会看到这样一张图：

Sign() 就是一个简单粗暴的step function。当自变量低于阈值时，函数值为0，超过阈值时函数值为1. 它也算一个 activation function吧，作用就是给 ${\vec{w}}^T\vec{x}$ 套一层外衣，变成了输出。但是sign() 不可导成为了致命伤。于是我们给 ${\vec{w}}^T\vec{x}$ 换件衣服变成： $$\sigma ({\vec{w}}^T\vec{x})=\frac{1}{1+exp(-{\vec{w}}^T\vec{x})}\leftarrow 这就舒服多了！$$

$\sigma ()$光滑可导并且值域还刚好是（0，1），因此可以模拟概率。

像回归分析中的一样，考虑一个二分类模型，label服从 $Bernoulli(p)$ 分布，$y_i=1$ (正例) 的概率为 $P_i$ 。之后，训练 logistic regression模型意味着用特征的线性组合去拟合p的对数几率 （跟刚才一样）。

$$Model:log(\frac{P_i}{1-P_i})={\vec{w}}^T\vec{x}\iff \{\begin{array}{l}{P}_i=P(y_i=1|\overrightarrow{x_i})=\frac{1}{1+exp(-{\vec{w}}^T\vec{x})}=\sigma ({\vec{w}}^T\vec{x})\\ \\ 1-P_i=P(y_i=0|\overrightarrow{x_i})=\frac{exp(-{\vec{w}}^T\vec{x})}{1+exp(-{\vec{w}}^T\vec{x})}=1-\sigma ({\vec{w}}^T\vec{x})\end{array}$$

所以，模型输出是 $\sigma ({\vec{w}}^T\vec{x})$，它的含义是：在看到 $x_{}$