机器学习基础篇-逻辑回归和多分类问题

Logistic Regression

定义：给定样本x的特征向量，输出为正样本时的概率$p(y=1|x)$，同时有负样本的概率为$p(y=0|x)=1-p(y=1|x)$。在逻辑回归中，可学习的参数为W和b。

公式：
$$p(y=1|x)=\sigma (W^{T}x+b)=(1+e^{-W^{T}x-b}{)}^{-1}$$

如下图所示，x轴为线性回归的值$W^T+b$，y轴的值是x轴的值通过了sigmoid变换得到的$p(y=1|x)$

损失函数：
$$L({\hat{y}}^i,y^i)=-[y^{i}log{\hat{y}}^i+(1-y^i)log(1-{\hat{y}}^i)]$$

• ${\hat{y}}^i$是预测值
• $y^i$是真实值

对于整个训练数据，有：
$$J(W,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^i,y^i)$$

• $m为数据集的样本数$

综上所述，最小化损失函数即最大化样本发生的可能性。
由公式，样本发生的概率为
$$LogLikelihood=\sum _{i=1}^{m}logP(y^i|x^i)=\sum _{i=1}^{m}log({\hat{y}}^y(1-\hat{y}{)}^{1-y})=-\sum _{i=1}^{m}L({\hat{y}}^i,y^i)$$

Multi-Class Classification (Softmax Regression)

softmax回归是逻辑回归（二分类）的一种推广，专门处理多分类问题。
在上图中，这是一个三分类的神经网络。最后一层是通过softmax激活函数进行转换输出，输出的值为每个class发生的概率。

softmax激活函数如下所示：
$$\begin{array}{rl}& z^{|L|}=[z_0^{|L|},z_1^{|L|},z_2^{|L|}]\\ & a^{|L|}=[\frac{e^{z_0^{|L|}}}{e^{z_0^{|L|}}+e^{z_1^{|L|}}+e^{z_2^{|L|}}},\frac{e^{z_1^{|L|}}}{e^{z_0^{|L|}}+e^{z_1^{|L|}}+e^{z_2^{|L|}}},\frac{e^{z_2^{|L|}}}{e^{z_0^{|L|}}+e^{z_1^{|L|}}+e^{z_2^{|L|}}}]\\ & =[p(class=0|x),p(class=1|x),p(class=2|x)]\\ & =[y_0,y_1,y_2]\end{array}$$

损失函数：
$$\begin{gathered} LossFunction=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^i,y^i) \\ L({\hat{y}}^i,y)=-\sum _j^3{y}_j^{i}log{\hat{y}}_j^i \end{gathered}$$

• m为样本数，j为第j个class。