Logstic回归采用sigmoid函数的原因

Logstic回归采用sigmoid函数的原因（sigmoid函数能表示二项分布概率的原因）

sigmoid函数：
\[f(x)=\frac{1}{1+e^{-x}}\]

直觉上，采用sigmoid函数来模拟(0, 1)段函数是因为sigmoid函数接近(0, 1)分段函数且连续可导(即数学性质好)。

从分布的角度进行理解

指数族分布：

将二项分布表示成指数族分布：
\[\begin{split} p(y;\phi)&={\phi}^y(1-\phi)^{1-y}\\ &=e^{(ylog\phi+(1-y)log(1-\phi))}\\ &=e^{[y(log(\frac{\phi}{1-\phi}))+log(1-\phi)]} \end{split}\]
Thus,
\[\begin{split} {\eta}^{\rm{T}}&=(log(\frac{\phi}{1-\phi}))\\ {\phi}&=\frac{1}{1+e^{-\eta}}\\ T(y)&=y\\ a(\eta)&=-log(1-\phi)\\ &=log(1+e^{\eta})\\ b(y)&=1 \end{split}\]
由\({\phi}=\frac{1}{1+e^{-\eta}}\)看出可使用sigmoid函数代替(0, 1)分段函数。

转载于:https://www.cnblogs.com/chunlin-deng/p/8422010.html