本文总结了Logistic Regression（LR）算法，包括模型原理、梯度下降优化以及为何不使用平方差作为损失函数。LR是分类模型，区别于线性回归，它利用sigmoid函数和交叉熵损失函数，而非线性回归的MSE。通过最大化似然概率，LR确保了模型的表达能力和损失函数的凸性。
当目标变量时分类变量时，常常使用Logistic Regression(LR）算法。
例如：
- 预测邮件是否为垃圾邮件（是垃圾邮件标记为1，否则为0）
- 预测肿瘤是否为恶性的（是恶性的为1，否则为0）
模型
LR算法主要利用sigmoid函数，其图像如下：
模型的输入是 x i = ( x i 1 , x i 2 , . . . , x i m ) x_i=(x^1_i,x^2_i,...,x^m_i) xi=(xi1,xi2,...,xim)， x i x_i xi是一个向量，其具体的计算方法如下：
h ( x ) = 1 1 + e − z , z = θ x + b h(x) = \frac{1}{1+e^{-z}}, \quad z = \theta x +b h(x)=1+e−z1,z=θx+b
其中 θ = ( θ 1 , θ 2 , . . . , θ m ) , h ( x ) \theta = (\theta_1,\theta_2,...,\theta_m), h(x) θ=(θ1,θ2
最低0.47元/天 解锁文章
扫一扫
266
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
