本文详细介绍了逻辑斯蒂回归（LR）模型，从模型引入、对数几率函数及其数学性质，到损失函数的选择和优化算法。LR模型通过线性模型结合Sigmoid函数对分类可能性建模，能进行概率预测且损失函数是凸函数，适合使用梯度下降法优化。
从LR模型的三要素出发。
模型
模型引入
如果在线性模型 ( z = θ T x z = \theta^T x z=θTx) 的基础上做分类，比如二分类任务，即 y ∈ { 0 , 1 } y\in \{0,1\} y∈{
0,1}.最直观的，可以将线性模型的输出值再套上一个函数 y = g ( z ) y = g(z) y=g(z)，最简单的就是“单位阶跃函数”.
y = { 0 z < 0 0.5 z = 0 1 z > 0 y= \begin {cases} 0 & z<0 \\ 0.5 & z=0 \\ 1 & z>0 \end{cases} y=⎩⎪⎨⎪⎧00.51z<0z=0z>0
预测值z大于0 的判定为类别0，小于 0 的判定为类别1，预测值为临界值可以任意判定。
但是，这样的分段函数数学性质不太好，（形状如下图红线部分所示）它既不连续也不可微。我们知道，通常在做优化任务时，目标函数最好是连续可微的。
这里就用到了对数几率函数 (形状如图中黑色曲线所示)：
对数几率函数（模型）
- 函数公式： y = 1 1 + e − z y= \frac{1}{1+e^{-z}} y=1+e−z1
- 几率（ods）： y 1 − y = e z \frac{y}{1-y}=e^z 1−yy=ez
- 对数几率： l n y 1 − y = z ln\frac{y}{1-y}=z ln1−yy=z
- 对数几率函数是一种“Sigmoid”函数。
- Sigmoid 函数表示形式S形的函数（形状如上图中黑色曲线所示）。
将 z = θ T x z=\theta^Tx z=θTx带入对数几率函数，得到：
y = 1 1 + e − θ T x (1) y=\frac{1}{1+e^{-\theta^Tx}}\tag{1} y=1+e
最低0.47元/天 解锁文章
扫一扫
752
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
