本文深入探讨了LR（对数几率回归）的概念，它利用线性模型通过对数几率函数实现分类任务。核心思想是将线性回归的预测值转化为对数几率，以逼近真实标记。目标函数通过极大似然法构建，并使用梯度下降或牛顿法进行优化。文章还介绍了对数似然函数及如何求解最小化问题。
文章目录
1. LR-对数几率回归
- 核心思想：线性归回模型 f ( x i ) = w T x i + b f(x_i)=w^Tx_i+b f(xi)=wTxi+b 借助对数几率函数 y i = 1 1 + e − z i y_i=\frac{1}{1+e^{-z_i}} yi=1+e−zi1实现分类任务。
- 基本形式：
l
n
y
i
1
−
y
i
=
w
T
x
i
+
b
ln\frac{y_i}{1-y_i}=w^Tx_i+b
ln1−yiyi=wTxi+b。
- 几率： y i 1 − y i \frac{y_i}{1-y_i} 1−yiyi。即， x 是 正 类 的 相 对 可 能 性 x是正类的相对可能性 x是正类的相对可能性。
- 对数几率： l n y i 1 − y i ln\frac{y_i}{1-y_i} ln1−yiyi
- 对数几率归回： L o g i s t i c R e g r e s s i o n Logistic \ Regression Logistic Regression。用线性回归模型的预测结果去逼近真实标记的对数几率。
- 目标函数：使用极大似然法构建目标函数
- 似然函数：
L ( w ^ ) = ∏ i = 1 m p ( y i ∣ w ^ ) = ∏ i = 1 m p 1 y i ( 1 − p 1 ) 1 − y i L(\hat{w}) = \overset{m}{\underset{i=1}{\prod}}p(y_i|\hat{w})=\overset{m}{\underset{i=1}{\prod}}p_1^{y_i}(1-p_1)^{1-y_i} L(w^)=i=1∏mp(yi∣w^)=i=1∏mp1yi(1−p1)1−yi - 对数似然函数：
ℓ = l n L ( w ^ ) = ∑ i = 1 m y i l n ( w ^ x i ) + ( 1 − y i ) l n ( 1 − w ^ x i ) \ell = lnL(\hat{w}) = \overset{m}{\underset{i=1}{\sum}}y_iln(\hat{w}x_i)+(1-y_i)ln(1-\hat{w}x_i) ℓ=lnL(w^)=i=1∑myiln(w^xi)+(1−yi)ln(1−w^xi) - 求极大→求极小： w ^ ∗ = a r g m i n w ^ ℓ = a r g m i n w ^ ∑ i = 1 m ( − y i w ^ x i + l n ( 1 + e w ^ x i ) ) \hat{w}^*= \underset {\hat{w}}{arg \ min}\ \ell = \underset {\hat{w}}{arg \ min} \overset{m}{\underset{i=1}{\sum}}(-y_i\hat{w}x_i + ln(1+e^{\hat{w}x_i})) w^∗=w^arg min ℓ=w^arg mini=1∑m(−yiw^xi+ln(1+ew^xi))
- 似然函数：
- 求解方法：梯度下降法、牛顿法。
1246
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
