【ML】 李宏毅机器学习二：Logistic Regression

我们将在分类模型基础上继续，并开始学习一种常用的分类算法——Logistic回归，逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下：

• 回归问题：预测一个连续的输出。
• 分类问题：离散输出，比如二分类问题输出0或1。
• 逻辑回归常用于垃圾邮件分类，天气预测、疾病判断和广告投放。

一、Step 1: Function Set

• 同样考虑一个而分类问题，此时Function Set 为： f x = P w , b ( C 1 ∣ x ) = σ ( z ) = 1 1 + exp ⁡ { − ( w x + b ) } f_{x}=P_{w, b}\left(C_{1} | x\right)=\sigma(z)=\frac{1}{1+\exp \{-(w x+b)\}} fx​=Pw,b​(C1​∣x)=σ(z)=1+exp{−(wx+b)}1​

• 如果$P_{w,b}\left(C_1|x\right)>0.5$,class为$C_1$，否则为$C_2$

• Sigmoid function

  

• Function Set

二、Step 2: Goodness of a Function

• Assume the data is generated based on$f_{w,b}(x)=P_{w,b}\left(C_1|x\right)$

• Given a set of w and b, what is its probability of generating the data?
  $$L(w,b)=f_{w,b}\left(x^1\right)f_{w,b}\left(x^2\right)\left(1-f_{w,b}\left(x^3\right)\right)\cdots f_{w,b}\left(x^N\right)$$

• The most likely $w^{\ast }$is the one with the largest $L(w,b)$.
  $$w^{\ast },b^{\ast }=\arg \underset{w,b}{\max }L(w,b)$$

• class$C_1$的标记$\hat{y}$为1，class$C_2$的标记$\hat{y}$为0

  $$L(w,b)=\prod _{i=1}^{n}P\left(C_1|x_i\right),\ln L=\sum _{i=1}^n\left[{\hat{y}}^i{f}_{w,b}\left(x^i\right)+\left(1-{\hat{y}}^i\right)\left(1-f_{w,b}\left(x^i\right)\right)\right]$$

​ 根据极大似然估计，为了极大化L，等价于极小化$-\ln L$，求解得到
$$w^{\ast },b^{\ast }={\mathrm{argmin}}_{w,b}\sum _{i=1}^n-\left[{\hat{y}}^i{f}_{w,b}\left(x^i\right)+\left(1-{\hat{y}}^i\right)\left(1-f_{w,b}\left(x^i\right)\right)\right]$$

• 交叉熵 - cross entropy
  $$C{\left(f\left(x^n\right),(\hat{y}\right)}^n)=-\left[{\hat{y}}^n{f}_{w,b}\left(x^n\right)+\left(1-{\hat{y}}^n\right)\left(1-f_{w,b}\left(x^n\right)\right)\right]$$
  表示Cross entropy between two Bernoulli distribution

• Then the cross entropy is:
  $$H(p,q)=-\sum _{x}p(x)\ln (q(x))$$

三、Step 3: Find the best function

• $$z=w\cdot x+b=\sum _i{w}_i{x}_i+b$$

• $$\begin{array}{l}{f}_{w,b}(x)=\sigma (z)=1/1+\exp (-z)\end{array}$$

四、Logistic Regression and Linear Regression

五、更新参数

六、Multi-class Classification - Softmax