本文详细介绍了Logistic回归的原理，包括使用场景、模型提出、构建损失函数、优化过程，以及如何用Python实现。Logistic回归通过sigmoid函数限制预测值在[0,1]范围内，用于二分类问题。损失函数采用了交叉熵，通过梯度下降法进行参数优化。文章还提及了随机梯度下降作为算法改进手段，以减少大量数据时的计算负担。"
125984036,12399041,快速部署Web应用与API：Vercel实战指南,"['前端', 'javascript', '开发工具', 'Serverless']
使用场景
通常面临的二分类问题可能是：一封邮件是否为垃圾邮件；那么可以抽象成数字标签：
- y=0 表示负类->垃圾邮件
- y=1 表示正类->正常邮件
模型的提出
这要求数学模型的结果取值要在[0,1]范围内，通常线性回归 h ( θ ) h(\theta) h(θ)的取值范围是实数域，很容易取到 h ( θ ) > 1 h(\theta)>1 h(θ)>1或 h ( θ ) < 0 h(\theta)<0 h(θ)<0。需要一个函数将 h ( θ ) h(\theta) h(θ)的取值范围控制在[0,1]范围内。
sigmoid函数就具有这个良好性质：
将线性模型 w T x w^{^{T}}x wTx代入sigmoid函数，所以新的假设函数 h ( w T x ) = 1 1 + e − w T x h (w ^{^{T}}x)=\frac{1}{1+e^{-w ^{^{T}}x}} h(wTx)=1+e−wTx1的取值范围是[0,1]。
- h ( w T x ) h (w ^{^{T}}x) h(wTx)>0.5,数据被分为1类。
- h ( w T x ) h (w^{^{T}}x) h(wTx)<0.5,数据被分为0类。
- h ( w T x ) h (w ^{^{T}}x) h(wTx)可以看成是分类的概率有多大。
这里的 w T w ^{^{T}} wT是每个特征的回归系数构成的向量， w T x = w 0 x 0 + w 1 x 1 + . . . w n x n w ^{^{T}}x=w_{0}x_{0}+w_{1}x_{1}+...w_{n}x_{n} wTx=w0x0+w1x1+...wnxn其中 x x x即为输入数据，这里共有n个特征，我们的目的是找到每个特征的最佳 w w w参数。
给定数据x，令其分为1类的概率 P ( Y = 1 ∣ x ) = h ( w T x ) = 1 1 + e − w T x
最低0.47元/天 解锁文章
扫一扫
7222
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
