深度学习Deep learning小白入门笔记——李宏毅深度学习 逻辑回归笔记

Deep Learning 2023/07/11

Logistic Regression

Step 1: Function Set

• 需要确定一个概率，因为逻辑回归是一种用于解决二分类问题的机器学习算法。由此可得如下定义：

$$\begin{gathered} if{P}_{w,b}(C_1|x)\ge 0.5,output{C}_1 \\ Otherwise,output{C}_2 \end{gathered}$$

• 使用Gaussian函数得到如下内容

$$\begin{gathered} P_{w,b}(C_1|x)=\sigma (z) \\ z=w\cdot x+b=\sum _i{w}_i{x}_i+b \end{gathered}$$

• 综上得出Function set如下：

$$f_{w,b}=P_{w,b}(C_1|x)$$

$$\Rightarrow f_{w,b}(x)=\sigma (\sum _i{w}_i{x}_i+b)$$

Step2: Goodness of a Function

• 假设一组训练集由上述Function Set产生即满足：

$$f_{w,b}(x)=P_{w,b}(C_1|x)$$

• 通过等式可以获悉通过一组(w,b)，就可以确认对于一组数据的P，故可得：

$$L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))\cdot \cdot \cdot f_{w,b}(x^N)$$

• 将计算出来最符合L(w,b)的一组(w,b)叫做(w^*,b*),即

$$w^{\ast },b^{\ast }=arg\underset{w,b}{\max }L(w,b)$$

• 将上述求解*L(w,b)*转换如下

$$w^{\ast },b^{\ast }=arg\underset{w,b}{\min }-lnL(w,b)$$

• 公式*L(w,b)*推导如下：

$$\begin{gathered} L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))\cdot \cdot \cdot f_{w,b}(x^N) \\ \Rightarrow -lnL(w,b)=ln{f}_{w,b}(x^1)ln{f}_{w,b}(x^2)ln(1-f_{w,b}(x^3))\cdot \cdot \cdot ln{f}_{w,b}(x^N) \\ {\hat{y}}^n:1forclass1,0forclass2 \\ \Rightarrow =\sum _n-[{\hat{y}}^{n}ln{f}_{w,b}(x^n)+(1-{\hat{y}}^n)ln(1-f_{w,b}(x^n))] \end{gathered}$$

$$\begin{gathered} Distributionp:p(x=1)={\hat{y}}^n \\ p(x=0)=1-{\hat{y}}^n \end{gathered}$$

$$\begin{gathered} Distributionq:q(x=1)=f(x^n) \\ q(x=0)=1-f(x^n) \end{gathered}$$

• 通过上述两个定义式计算cross entropy, 即将两式带入下式中：

$$H(p,q)=-\sum _{x}p(x)ln(q(x))$$

• Cross entropy:

$$C(f(x^n),{\hat{y}}^n)=-[{\hat{y}}^{n}lnf(x^n)+(1-{\hat{y}}^n)ln(1-f(x^n))]$$

Step 3: Find the best function

$$\begin{gathered} -lnL(w,b)=\sum _n-[{\hat{y}}^{n}ln{f}_{w,b}(x^n)+(1-{\hat{y}}^n)ln(1-f_{w,b}(x^n))] \\ \Rightarrow \frac{\partial lnL(w,b)}{\partial w_i}=\frac{\partial ln{f}_{w,b}(x)}{\partial z}\frac{\partial z}{\partial w_i} \end{gathered}$$

$$\Rightarrow \frac{\partial z}{\partial w_i}=x_i$$

$$\Rightarrow \frac{\partial ln\sigma (z)}{\partial z}=\frac{1}{\sigma (z)}\frac{\partial \sigma (z)}{\partial z}=\frac{1}{\sigma (z)}\sigma (z)(1-\sigma (z))=1-\sigma (z)$$

$$\Rightarrow \frac{\partial ln(1-f_{w,b}(x))}{\partial w_i}=\frac{\partial ln(1-f_{w,b}(x))}{\partial z}\frac{\partial z}{\partial w_i}$$

$$\Rightarrow \frac{\partial ln(1-\sigma (z))}{\partial z}=-\frac{1}{1-\sigma (z)}\frac{\partial \sigma (z)}{\partial z}=-\frac{1}{1-\sigma (z)}\sigma (z)(1-\sigma (z))=-\sigma (z)$$

$$\begin{gathered} \frac{-lnL(w,b)}{\partial w_i}=\sum _n-[{\hat{y}}^n(1-f_{w,b}(x^n))x_i^n-(1-{\hat{y}}^n)f_{w,b}(x^n)x_i^n] \\ =\sum _n-[{\hat{y}}^n-{\hat{y}}^n{f}_{w,b}{x}^n-f_{w,b}(x^n)+{\hat{y}}^n{f}_{w,b}(x^n)]x_i^n \\ =\sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n \end{gathered}$$

• 由此可推导出参数更新公式，如下：

$$w_i\leftarrow w_i-\eta \sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$

• 由上式可知参数更新取决于三个因素

  • 即 learning rate η

  • 取决于数据集的 x

  • 以及预测值与真实值之间的差值
    $${\hat{y}}^n-f_{w,b}(x^n)$$

• 根据上述分析可以得知Logistic regression和Linear regression的梯度下降方程一致，不同的是两者方程中的预测值与真实值的取值范围不同。Logistic regression中两者的取值为0或1，而Linear regression中两者的取值则为全体实数。