sigmoid与条件概率的关系及推导过程

sigmoid与条件概率的关系及推导过程

sigmoid是机器学习中常用的激活函数，其优势作者这里不一一赘述，本文主要从另一个角度，判别模型（discriminative model)条件概率的角度对sigmoid函数进行推导。

机器学习判别模型主要想通过神经网络对 $P(Y|X)$ 进行建模。

假设 $x\epsilon {R}^{n}$且$y\epsilon{y_{1},y_{2}}$且$P(x|y_{1}) \sim N(\mu_{1} ,\sum)$ 且 $P(x|y_{1}) \sim N(\mu_{1} ,\sum)$
根据上述假设可得：
$P(x|y_{1}) ＝ \frac{1}{{(2\pi)}^{n/2} \sum^{1/2}} {e}^{-{(x-\mu_{1})^{T}{\sum}^{-1}(x-\mu_{1})}}$
$P(x|y_{2}) ＝ \frac{1}{{(2\pi)}^{n/2} \sum^{1/2}} {e}^{-{(x-\mu_{2})^{T}{\sum}^{-1}(x-\mu_{1})}}$

根据贝叶斯公式：
P(y1|x)=P(y1,x)p(