逻辑回归

1. 逻辑回归公式

  假设函数 (hypotheses function)：$\hat{y}=h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，其中：$g(z)=\frac{1}{1+e^{-z}}$ 为sigmoid函数

  交叉熵损失函数 (loss function)（单个样本）：$L(\hat{y},y)=-y\log \hat{y}-(1-y)\log (1-\hat{y})$

• $y$： 表示样本的 label，正类为1，负类为0
• $\hat{y}$：表示样本预测为正的概率，$1-\hat{y}$：表示样本预测为负的概率，损失函数-参考链接

  代价函数 (cost function)：
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\sum _{i=1}^{m}L\left({\hat{y}}^{(i)},y^{(i)}\right)\\ & =\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log {\hat{y}}^{(i)}-\left(1-y^{(i)}\right)\log \left(1-{\hat{y}}^{(i)}\right)\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log \frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}-\left(1-y^{(i)}\right)\log \left(1-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}\right)\right]\end{array}$$

• 使用梯度下降法 线性回归中类似-链接，使代价函数损失值最小

$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )& =\frac{\partial }{\partial {\theta }_j}\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log \frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}-\left(1-y^{(i)}\right)\log \left(1-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}})}\right]\\ & =\frac{\partial }{\partial {\theta }_j}\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)+\left(1-y^{(i)}\right)\log \left(1+e^{{\theta }^T{x}^{(i)}}\right)\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{-x_j^{(i)}{e}^{-{\theta }^T{x}^{(i)}}}{1+e^{-{\theta }^T{x}^{(i)}}}+\left(1-y^{(i)}\right)\frac{x_j^{(i)}{e}^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\frac{-x_j^{(i)}}{1+e^{{\theta }^T{x}^{(i)}}}+\left(1-y^{(i)}\right)\frac{x_j^{(i)}{e}^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[\frac{-x_j^{(i)}{y}^{(i)}+x_j^{(i)}{e}^{{\theta }^T{x}^{(i)}}-y^{(i)}{x}_j^{(i)}{e}^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[\frac{-y^{(i)}\left(1+e^{{\theta }^T{x}^{(i)}}\right)+e^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}{x}_j^{(i)}\right]=\frac{1}{m}\sum _{i=1}^m\left[\left(-y^{(i)}+\frac{e^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}\right)x_j^{(i)}\right]\\ & =\frac{1}{m}\sum _{i=1}^m\left[\left(-y^{(i)}+\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}\right)x_j^{(i)}\right]=\frac{1}{m}\sum _{i=1}^m\left[\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)}\right]\end{array}$$

• 补充，$h_{\theta }\left(x^{(i)}\right)=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$，与线性回归不一样
• 迭代公式： ${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m[(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}]$ ，与线性回归一致，乘了一个$-1$

2. 梯度下降求解事例

  根据上面逻辑回归梯度更新公式 ${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m[(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}]$ ，引入实际范例中计算。表格数据中有两个特征量$x_1,x_2$和一个输出值$y$，根据假设函数公式，引入特征量$x_0$，其值均为1。则特征数量 $n=3$。表格中有2行数据，则数据量 $m=2$。

引入特征量 $x_0$	房子面积 $x_1$	房子朝向 $x_2$	分类 $y$
1	200	1	1
1	120	2	0

    假设函数 $h_{\theta }\left(x^{(i)}\right)=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}=\frac{1}{1+e^{-({\theta }_0{x}_0^{(i)}+{\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)})}}$，随机给定 ${\theta }_0=0.01,{\theta }_1=0.03,{\theta }_2=0.06$，指定学习率 $\alpha =0.01$，进行迭代，更新 $\theta$。

$${\theta }_0={\theta }_0-\alpha \times [(\frac{1}{1+e^{-({\theta }_0{x}_0^{(1)}+{\theta }_1{x}_1^{(1)}+{\theta }_2{x}_2^{(1)})}}-y^{(1)})\times x_0^{(1)}+(\frac{1}{1+e^{-({\theta }_0{x}_0^{(2)}+{\theta }_1{x}_1^{(2)}+{\theta }_2{x}_2^{(2)})}}-y^{(2)})\times x_0^{(2)}]$$

  ${\theta }_1,{\theta }_2$ 更新过程与 ${\theta }_0$ 一致，具体过程可参考线性回归中参数更新-链接

3. 逻辑回归的正则化

  L2范数正则化 解决过拟合
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log \frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}-\left(1-y^{(i)}\right)\log \left(1-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}})}\right)\right]+\frac{\lambda }{2\mathrm{m}}\Vert \theta {\Vert }_2^2$$

 迭代公式： $${\theta }_j:={\theta }_j-\frac{\alpha }{m}(\sum _{i=1}^m[(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}]+\lambda {\theta }_j)$$

4. 逻辑回归实现多分类

  3 种方法实现逻辑回归多分类- 参考链接

  One-Vs-All (Rest)

  上图中一个三分类问题，得到 3 个二元分类器。在 预测阶段，每个分类器可以根据测试样本，得到当前正类的概率。即 P(y=i|x;θ),i=1,2,3。选择计算结果 最高 的分类器，其正类就可以作为预测结果。

  One-Vs-One

  Many-Vs-Many

    MVM -参考链接

• 编码：对N个类别做M次划分，每次划分将一部分类别划为正类，其余负类，形成一个二分类的训练集。这样共有M个训练集，则可训练出M个分类器。
• 解码：M个分类器预测标记组成一个编码，将此预测编码与各自类别的编码进行比较，返回其中距离最小的类。

4. 代码案例

名称	代码链接
逻辑回归实现	code
逻辑回归对鸢尾花进行分类	code
逻辑回归进行手写数字识别	code

---

参考链接 - 深度之眼 机器学习寒假训练营