为什么LogisticRegression模型的激活函数要使用Sigmoid函数？

备注：脑子昏迷状态书写，错误请指正。

一、指数分布族

在统计应用中，有两大重要的参数族：指数分布族(exponential families)，亦称指数型分布族；位置尺寸分布族(location-scale families)。
针对指数族分布，响应变量$Y$的描述可不再局限于正态分布。

• 概率密度函数定义
  假设有一列观测样本： { x i , y i } i = 1 n \{x_i,y_i\}_{i=1}^n {xi​,yi​}i=1n​：
  f ( y i ∣ x i ; β , ϕ ) = e x p { y i η i − b ( η i ) ϕ + c ( y i , ϕ ) } ≜ f ( y i ∣ η i , ϕ ) f(y_i|x_i; \beta,\phi) = exp\{\frac{y_i\eta_i-b(\eta_i)}{\phi} + c(y_i, \phi)\}\triangleq f(y_i|\eta_i,\phi) f(yi​∣xi​;β,ϕ)=exp{ϕyi​ηi​−b(ηi​)​+c(yi​,ϕ)}≜f(yi​∣ηi​,ϕ)
  其中，${\eta }_i$为自然参数(Natural Parameter)；$\varphi$为尺度参数.
  备注1：在canonical情形下，${\eta }_i={\beta }^T{x}_i$
  备注2：
  ** ${\eta }_i=(g\circ \mu )({\eta }_i)=(g\circ \mu )({\beta }^T{x}_i)={\beta }^T{x}_i$;
  ** $\mu$为激活函数「E.G. LR中的Sigmoid函数」；$g$成为Link Function「LR中的Logit函数/Probit函数」, 其中：g与$\mu$互为逆函数: $g={\mu }^{-1}$,
  ** 实则这里的$\mu ({\eta }_i)=E(y_i|x_i)$ ， 后续案例中可自行校验.
  ** 这里Link Function作用是对Y的期望做变换，使变换后的结果与x成线性关系：$g(E[y_i|x_i])={\beta }^T{x}_i$
  ** 激活函数的作用是将预测结果映射到因变量所在的取值范围内
  备注3：$b^{\prime }(\eta )$为配分函数
  备注4：上述公式是关于随机变量Y的概率密度函数，此处样本$y_i$可以来自于为：伯努利分布、二项分布、高斯分布、泊松分布等
  备注5：上述这种概率密度定义是简化的形式，更一般的描述为： p ( Y ∣ η ) = h ( Y ) e x p { η T ∗ ϕ ( Y ) − A ( η ) } p(Y|\eta)=h(Y)exp\{\eta^T*\phi(Y)-A(\eta)\} p(Y∣η)=h(Y)exp{ηT∗ϕ(Y)−A(η)}，其中$\varphi (Y)$为充分统计量，$A(\eta )$为配分函数且与随机变量$Y$无关

• 指数族的均值和方差
  $$\begin{array}{rl}\frac{\partial }{\partial {\eta }_i}E[logf(y_i|{\eta }_i,\varphi )]=& E[\frac{\partial }{\partial {\eta }_i}logf(y_i|{\eta }_i,\varphi )]\\ =& \int \frac{1}{f(y_i|{\eta }_i,\varphi )}\ast \frac{\partial f(y_i|{\eta }_i,\varphi )}{\partial {\eta }_i}\ast f(y_i|{\eta }_i,\varphi )d{y}_i\\ =& 0\\ =& E[\frac{y_i-b^{\prime }({\eta }_i)}{\varphi }]\end{array}$$
  可得随机变量$Y$的期望：$E(Y)=b^{\prime }({\eta }_i)$

借助上一篇“Fisher信息量与Cramer-Rao不等式”博文中有提到：
E [ ∂ 2 l n ( f ( x : θ ) ∂ θ 2 ] = - E { ( ∂ l n f ( x ; θ ) ∂ θ ) 2 } E[\frac{\partial^2 ln(f(x:\theta)}{\partial \theta^2}] = \textbf{-}E\{(\frac{\partial lnf(x;\theta)}{ \partial\theta})^2\} E[∂θ2∂2ln(f(x:θ)​]=-E{(∂θ∂lnf(x;θ)​)2}
$$\begin{array}{rl}E[\frac{y_i-b^{\prime }({\eta }_i)}{\varphi }{]}^2=& E[\frac{\partial }{\partial {\eta }_i}logf(y_i|{\eta }_i,\varphi ){]}^2\\ =& -E[\frac{{\partial }^2}{\partial {\eta }_i^2}log(y_i|{\eta }_i,\varphi )]\\ =& E[\frac{b^{\prime \prime }({\eta }_i)}{\varphi }]\end{array}$$
可得：$Var(Y)=E[Y-b^{\prime }({\eta }_i){]}^2=\varphi \ast b^{\prime \prime }({\eta }_i)$

二、指数分布族案例

(1)伯努利分布[Bernoulli Distribution] ~ $B(1,p)$
已知：伯努利分布$Y$，$E(Y)=p$, $Var(Y)=p(1-p)$.
p i y i ∗ ( 1 − p i ) 1 − y i = e x p { y i ∗ l o g ( p i ) + ( 1 − y i ) ∗ l o g ( 1 − p i ) } = e x p { y i ∗ l o g ( p i 1 − p i ) − [ − l o g ( 1 − p i ) ] } \begin{aligned} p_{i}^{y_i}*(1-p_i)^{1-y_i} =& exp\{y_i*log(p_i) + (1-y_i)*log(1-p_i)\}\\ =& exp\{y_i*log(\frac{p_i}{1-p_i}) - [-log(1-p_i)]\} \end{aligned} piyi​​∗(1−pi​)1−yi​==​exp{yi​∗log(pi​)+(1−yi​)∗log(1−pi​)}exp{yi​∗log(1−pi​pi​​)−[−log(1−pi​)]}​
可得：
$\varphi =1$
${\eta }_i=log(\frac{p_i}{1-p_i})$ => $p_i=\frac{e^{{\eta }_i}}{1+e^{{\eta }_i}}=\frac{1}{1+e^{-{\eta }_i}}=\frac{1}{1+e^{-{\beta }^T{x}_i}}$
$b({\eta }_i)=-log(1-p_i)=log(1+e^{{\eta }_i})$

下面我们验证指数分布族中$b(\eta )$与分布期望、方差的关系：
$b^{\prime }({\eta }_i)=\frac{e^{{\eta }_i}}{1+e^{{\eta }_i}}=p_i=E[Y]$
$b^{\prime \prime }({\eta }_i)\ast \varphi =b^{\prime \prime }({\eta }_i)=\frac{e^{{\eta }_i}}{(1+e^{{\eta }_i}{)}^2}=p_i\ast (1-p_i)=Var(Y)$
注1：上述式子中，link function: $g=log(\frac{t}{1-t})$称为Logit函数； 激活函数$\mu =\frac{1}{1+e^{-\eta }}$称为Sigmiod函数
注2：因为伯努利分布中，因变量取值为{0,1}, 所需预测内容为取得{0,1}值的概率$\in [0,1]$，借助上述Sigmoid函数，将$(-\infty ,+\infty )\to [0,1]$
注3：将$(-\infty ,+\infty )\to [0,1]$除了采取Sigmoid激活函数，还可以采用正态分布的累积分布函数$\Phi (x)\in [0,1]$作为激活，此时Link Function称为Probit函数，记作：${\Phi }^{-1}(t)$

(2)二项分布[Binomial Distribution]~$B(n,p)$
已知：二项分布$Y$，$E(Y)=np$, $Var(Y)=np(1-p)$.
C n y i p i y i ∗ ( 1 − p i ) n − y i = e x p { y i ∗ l o g ( p i 1 − p i ) + n l o g ( 1 − p i ) + l o g C n y i } = e x p { y i ∗ l o g ( p i 1 − p i ) − [ − l o g ( 1 − p i ) ] } \begin{aligned} C_n^{y_i} p_{i}^{y_i} * (1-p_i)^{n-y_i} =& exp\{y_i*log(\frac{p_i}{1-p_i}) + nlog(1-p_i) + logC_n^{y_i}\}\\ =& exp\{y_i*log(\frac{p_i}{1-p_i}) - [-log(1-p_i)]\} \end{aligned} Cnyi​​piyi​​∗(1−pi​)n−yi​==​exp{yi​∗log(1−pi​pi​​)+nlog(1−pi​)+logCnyi​​}exp{yi​∗log(1−pi​pi​​)−[−log(1−pi​)]}​
对上式随机变量$y_i$~$B(n,p_i)$，做如下变换：$y_i/n,s.t.y_i=0,1/n,2/m=n,\cdots ,1$
C n y i p i y i ∗ ( 1 − p i ) n − y i = e x p { n y i ∗ l o g ( p i 1 − p i ) + n l o g ( 1 − p i ) + l o g C n n y i } = e x p { y i ∗ l o g ( p i 1 − p i ) − ( − l o g ( 1 − p i ) ) 1 n + l o g C n n y i } \begin{aligned} C_n^{y_i} p_{i}^{y_i} * (1-p_i)^{n-y_i} =& exp\{ny_i*log(\frac{p_i}{1-p_i}) + nlog(1-p_i) + logC_n^{ny_i}\}\\ =& exp\{\frac{y_i*log(\frac{p_i}{1-p_i}) - (-log(1-p_i))}{\frac{1}{n}}+ logC_n^{ny_i}\} \end{aligned} Cnyi​​piyi​​∗(1−pi​)n−yi​==​exp{nyi​∗log(1−pi​pi​​)+nlog(1−pi​)+logCnnyi​​}exp{n1​yi​∗log(1−pi​pi​​)−(−log(1−pi​))​+logCnnyi​​}​
可得：
$\varphi =\frac{1}{n}$
${\eta }_i=log(\frac{p_i}{1-p_i})$ => $p_i=\frac{e^{{\eta }_i}}{1+e^{{\eta }_i}}=\frac{1}{1+e^{-{\eta }_i}}$

$b({\eta }_i)=-log(1-p_i)=log(1+e^{{\eta }_i})$ =>
$b^{\prime }({\eta }_i)=\frac{e^{{\eta }_i}}{1+e^{{\eta }_i}}=p_i$=>$E[B(n,p_i)/n]=p_i$
=>$E[B(n,p_i)]=n{p}_i$
$b^{\prime \prime }({\eta }_i)\ast \varphi =b^{\prime \prime }({\eta }_i)/n=\frac{e^{{\eta }_i}}{n(1+e^{{\eta }_i}{)}^2}=p_i\ast (1-p_i)/n$
=>$Var(B(n,p_i))=n{p}_i(1-p_i)$
注意：上述式子中，link function: $g=log(\frac{t}{1-t})$, 激活函数$\mu =\frac{1}{1+e^{-\eta }}$

(3)正态分布[Normal Distribution]~$N(\mu ,\sigma )$
已知：正态分布$Y$，$E(Y)=\mu$, $Var(Y)={\sigma }^2$.
1 2 π σ ∗ e x p { − ( y − u ) 2 2 σ 2 } = e x p { y ∗ μ − μ 2 2 σ 2 − y 2 2 ∗ σ 2 − 1 2 l o g ( 2 π σ 2 ) } \begin{aligned} \frac{1}{\sqrt{2\pi}\sigma}*exp\{-\frac{(y-u)^2}{2\sigma^2}\} =& exp\{\frac{y*\mu-\frac{\mu^2}{2}}{\sigma^2} - \frac{y^2}{2*\sigma^2} - \frac{1}{2}log(2\pi\sigma^2)\} \end{aligned} 2π ​σ1​∗exp{−2σ2(y−u)2​}=​exp{σ2y∗μ−2μ2​​−2∗σ2y2​−21​log(2πσ2)}​
可得：
$\varphi ={\sigma }^2$
$\eta =\mu$

$b(\eta )=\frac{{\mu }^2}{2}$ =>
$b^{\prime }(\eta )=\mu$ => $E[y]=\mu$
$b^{\prime \prime }(\eta )\ast \varphi ={\sigma }^2$ => $Var(y)={\sigma }^2$
注意：上述式子中， ${\eta }_i=\mu ({\eta }_i)=g({\eta }_i)$, $\mu$与$g$为恒等连接映射

(4)泊松分布[Possion Distribution]~$P(\theta )$
已知：正态分布$Y$，$E(Y)=\theta$, $Var(Y)=\theta$.
θ y ∗ e − θ y ! = e x p { y l o g ( θ ) − θ − l o g ( y ! ) } \begin{aligned} \frac{\theta^y*e^{-\theta}}{y!} =& exp\{ylog(\theta)- \theta - log(y!)\} \end{aligned} y!θy∗e−θ​=​exp{ylog(θ)−θ−log(y!)}​
可得：
$\varphi =1$
$\eta =log(\theta )$ => $\theta =e^{\eta }$

$b(\eta )=\theta =e^{\eta }$ =>
$b^{\prime }(\eta )=e^{\eta }=\theta$ => $E[y]=\theta$
$b^{\prime \prime }({\eta }_i)\ast \varphi =e^{\eta }=\theta$ => $Var(y)=\theta$
注意：上述式子中，link function: $g=log(t)$, 激活函数$\mu =e^{\eta }$