本文从普通线性模型与广义线性模型的角度出发，探讨逻辑回归的起源。通过广义线性模型的指数簇分布和伯努利分布的推导，揭示了逻辑回归为何使用sigmoid函数作为联系函数，其在二分类问题中的重要性得以显现。
这个问题我们要从普通线性模型与广义线性模型开始讲起，看官不要着急，慢慢的往下看。
普通线性模型与广义线性模型
普通线性模型是用模型的预测值去逼近真实标记y：
Y = ω 1 x 1 + ω 2 x 2 + ω 3 x 3 + ω 4 x 4 + . . . + ω p x p + b Y = \omega_{1}x_1 + \omega_{2}x_2 + \omega_{3}x_3 + \omega_{4}x_4 +... + \omega_{p}x_{p}+b Y=ω1x1+ω2x2+ω3x3+ω4x4+...+ωpxp+b
Y = ω T x + b Y = \omega^Tx+b Y=ωTx+b
而如果我们令预测值去逼近y的衍生物，我们就得到了广义线性模型。
g ( Y ) = ω T x + b g\left(Y\right) = \omega^Tx+b g(Y)=ωTx+b
考虑单调可微函数g，有如上广义线性模型，其中函数g称为“联系函数”(link function)。
普通线性模型
普通线性模型 (ordinary linear model) 可以用下式表示：
Y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + β 4 x 4 + . . . + β p − 1 x p − 1 + ϵ Y = \beta_{0} + \beta_{1}x_1 + \beta_{2}x_2 + \beta_{3}x_3 + \beta_{4}x_4 +... + \beta_{p-1}x_{p-1}+\epsilon Y=β0+β1x1+β2x2+β3x3+β4x4+...+βp−1xp−1+ϵ
普通线性模型的假设主要有以下几点：
- 响应变量 Y Y Y和误差项 ϵ \epsilon ϵ正态性：响应变量 Y Y Y和误差项 ϵ \epsilon ϵ服从正态分布，且 ϵ \epsilon ϵ是一个白噪声过程，因而具有零均值，同方差的特性
- 预测量 x i x_i xi和未知参数 β i \beta_i βi的非随机性：预测量 x i x_i x
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
