逻辑回归是一种广义的线性回归模型，它通过一个单调可微的函数将结果标签和线性回归预测值联系起来，在西瓜书中开头便介绍了单位阶跃函数
f ( x ) = { 0 = z < 0 0.5 = z = 0 1 = z < 0 f(x)=\left\{ \begin{aligned} 0 & = & z<0\\ 0.5 & = & z=0 \\ 1 & = & z<0 \end{aligned} \right. f(x)=⎩⎪⎨⎪⎧00.51===z<0z=0z<0
显然这个函数不连续也不可微，那么我们便找到了一种新的替代函数：sigmoid函数
s i g m o i d f ( z ) = 1 1 + e − z sigmoid\ \ \ \ \ \ \ \ \ f(z)=\frac{1}{1+e^{-z}} sigmoid f(z)=1+e−z1
这个函数曾经是深度学习最常用的激活函数，但是因为求导最大值为0.25，容易造成梯度消失等原因，被像线性整流函数（ReLu）等抢走了风头。讲了点题外话～～
那么在二分类问题中，常常以0.5作为分界线，将结果划分为两类，从上面的图像也可以看出，sigmoid函数非常的适合。
接下来对sigmoid函数进行求导：
d f ( z ) d z = e − z ( 1 + e − z ) 2 = 1 1 + e − z ∗ e − z 1 + e − z = f ( z ) ( 1 − f ( z ) ) \frac{df(z)}{dz}=\frac{e^{-z}}{(1+e^{-z})^2} \\ ~\\ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~=\frac{1}{1+e^{-z}} \ \ *\ \ \frac{e^{-z}}{1+e^{-z}}\\ ~\\ \ \ \ \ ~~~~~~~~~~~~~~=f(z)(1-f(z)) dzdf(z)=(1+e−z)2e−z
逻辑回归是一种线性模型，通过Sigmoid函数将预测值转化为概率。本文介绍了Sigmoid函数的特性及其在二分类问题中的应用，详细阐述了逻辑回归的表达式、概率解释以及参数估计过程，特别是最大似然估计法和梯度上升法在求解参数中的作用。
最低0.47元/天 解锁文章
扫一扫
359
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
