【ML】_02_LR（逻辑回归）

 

---

 

【一】 LR（Logistic Regression，逻辑回归）

 

【有监督】常用的二分类算法，功能强大，逻辑简单，决策边界 为 ${\mathbf{W}}^{\mathbf{T}}\mathbf{X}+\mathbf{b}=0$

 

• Softmax 回归退化 到 二分类 情况下的特殊形式，基于 梯度下降 优化算法，需将特征归一化
   
  $$\mathbf{p}(\mathbf{y}=1|\mathbf{x},\mathbf{w})=\frac{1}{1+{\mathbf{e}}^{-{\mathbf{w}}^{\mathbf{T}}\mathbf{x}}}$$

 

---

 

【二】 Softmax 回归（多个 LR 的组合，多分类）

 
p   ( y = k   ∣   x , w ) = e − w k T x ∑ i = 1 K e − w i T x          s . t    y ∈ { 0 , … , k , … , K } \bm {\red{p\,(y=k \, | \, x, w)}=\frac { e ^ { - w _ { k } ^ { T } x } } { \sum _ { i = 1 } ^ { K } e ^ { - w _ { i } ^ { T } x } } } \;\;\;\; s . t \,\, y \in \{ 0 , \ldots , k , \ldots , K\} p(y=k∣x,w)=∑i=1K​e−wiT​xe−wkT​x​s.ty∈{0,…,k,…,K}

 

---

 

【三】 Sigmoid（激活函数）

 

• 激活函数求导，证明 ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$
   
  $${\mathbf{\sigma }}^{\prime }(\mathbf{z})=(\frac{1}{1+e^{-z}}{)}^{\prime }=(-1)(1+e^{-z}{)}^{(-1)-1}\cdot (e^{-z}{)}^{\prime }$$

$$=\frac{1}{(1+e^{-z}{)}^2}(e^{-z})=\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}$$

$$=\frac{1}{1+e^{-z}}\cdot (1-\frac{1}{1+e^{-z}})=\mathbf{\sigma }(\mathbf{z})\cdot (1-\mathbf{\sigma }(\mathbf{z}))$$

 

---

 

【四】 Cross Entropy Loss（交叉熵损失函数）：

 

• 损失函数
   
  $$\mathbf{L}=-\frac{1}{n}\sum _x[y\cdot ln\sigma (z)+(1-y)\cdot ln(1-\sigma (z))]$$

 

• 损失函数求导：$ln(x{)}^{\prime }=1/x，ln(1-x{)}^{\prime }=-1/(1-x)$

 
$$\frac{\partial \mathbf{L}}{\partial {\mathbf{w}}_{\mathbf{i}}}=-\frac{1}{n}\sum _x[\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)}]\frac{\partial \sigma }{\partial w_i}=-\frac{1}{n}\sum _x[\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)}]{\sigma }^{\prime }(z)x_i$$

$$=\frac{1}{n}\sum _x\frac{{\sigma }^{\prime }(z)x_i}{\sigma (z)(1-\sigma (z)}(\sigma (z)-y)=\frac{1}{\mathbf{n}}\sum _{\mathbf{x}}{\mathbf{x}}_{\mathbf{i}}(\mathbf{\sigma }(\mathbf{z})-\mathbf{y})$$
$$\frac{\partial \mathbf{L}}{\partial \mathbf{b}}=\frac{1}{\mathbf{n}}\sum _{\mathbf{x}}(\mathbf{\sigma }(\mathbf{z})-\mathbf{y})$$

 

---

 

【五】 应用场景

 

• 货款违约（会 / 不会），广告点击（点 / 不点），商品推荐（买 / 不买），情感分析（正面 / 负面），疾病诊断（阴 / 阳）

 

---

 

【六】 LR 代码使用（Sklearn）

 

from sklearn.linear_model.logistic import LogisticRegression
'''
:param (参数) 一般默认就行了
'''
lr = LogisticRegression()
'''
:object (方法)
lr.fit(X,y): LR 是有监督的机器学习算法
lr.predict(X): 返回数据 X 预测的类别
'''