逻辑回归

Logistic regression

目的： 分类还是回归？经典的二分类算法！

机器学习算法选择：先用逻辑回归，再用复杂的，能简单尽量简单

逻辑回归的的决策边界：可以是非线性的

Sigmoid 函数

公式：
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

自变量取值为任意实数，值域[0,1]

解释：将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中。这样就完成了由值到概率的转换，也就是分类任务

预测函数：
$$\begin{gathered} h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}} \\ 其中：{\theta }_0+{\theta }_1{x}_1+,...,+{\theta }_n{x}_n=\sum _{i=1}^n{\theta }_i{x}_i={\theta }^{T}x \end{gathered}$$
分类任务：
$$\{\begin{array}{l}P(y=1|x;\theta )=h_{\theta }(x)\\ P(y=0|x;\theta )=1-h_{\theta }(x)\end{array}$$
整合：
$$P(y|x,\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
解释：对于二分类任务(0,1)，整合后y取0只保留 $(1-h_{\theta }(x){)}^{1-y}$，y取1只保留 $(h_{\theta }(x){)}^y$

似然函数：
$$L(\theta )=\prod _{i=1}^{m}P(y_i|x_i,\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}$$
对数似然：
$$l(\theta )=L(\theta )=\sum _{i=1}^m(y_i\log h_{\theta }(x_i)+(1-y_i)\log (1-h_{\theta }(x_i)))$$
此时应用梯度上升求最大值，引入 $J(\theta )=-\frac{1}{m}l(\theta )$ 转换为小批量梯度下降求最小值任务

求导过程：
$$\begin{array}{rl}\frac{\delta }{{\delta }_{{\theta }_j}}j(\theta )& =-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{h_{\theta }(x_i)}\frac{\delta }{{\delta }_{{\theta }_j}}-(1-y_i)\frac{1}{1-h_{\theta }(x_i)}\frac{\delta }{{\delta }_{{\theta }_j}}{h}_{\theta }(x_i)\right)\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right)\frac{\delta }{{\delta }_{{\theta }_j}}g({\theta }^T{x}_i)\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{g({\theta }^T{x}_i)}-(1-y_i)\frac{1}{1-g({\theta }^T{x}_i)}\right)g({\theta }^T{x}_i)(1-g({\theta }^T{x}_i))\frac{\delta }{{\delta }_{{\theta }_j}}{\theta }^T{x}_i\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y_i(1-g({\theta }^T{x}_i))-(1-y_i)g({\theta }^T{x}_i)\right)x_i^j\\ & =-\frac{1}{m}\sum _{i=1}^m\left(y_i-g({\theta }^T{x}_i)\right)x_i^j\\ & =\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x_i)-y_i\right)x_i^j\end{array}$$
参数更新：
$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j$$
多分类的softmax：
$$h_{\theta }(x^{(i)})=\left[\begin{array}{c}p(y^{(i)}=1|x^{(i)};\theta )\\ p(y^{(i)}=2|x^{(i)};\theta )\\ .\\ .\\ .\\ p(y^{(i)}=k|x^{(i)};\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^{(i)}}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{(i)}}\\ e^{{\theta }_2^T{x}^{(i)}}\\ .\\ .\\ .\\ e^{{\theta }_k^T{x}^{(i)}}\end{array}\right]$$
总结：逻辑回归真的真的很好很好用