机器学习入门 --- 逻辑回归算法（公式推导）

逻辑回归算法原理

1. 逻辑回归算法是一个分类算法，经典的二分类算法
2. 在机器学习中，关于算法的选择：先逻辑回归再用复杂的，能简单还是用简单的
3. 逻辑回归的决策边界：可以是线性的，也可以是非线性的

Sigmoid 函数

公式：
$$g(z)=\frac{1}{1+e^{-z}}$$

特点：自变量取值为任意实数，值域[0,1]

解释：将任意的输入映射到了[0,1]区间我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换，也就是分类任务

简化与求解

预测函数：
$$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

其中${\theta }_0+{\theta }_1{x}_1+...{\theta }_n+x_n={\sum }_{i=1}^n{\theta }_i{x}_i={\theta }^{T}x$

分类任务：
$$\begin{array}{rl}P(y=1|x;\theta )& =h_{\theta }(x)\\ P(y=0|x;\theta )& =1-h_{\theta }(x)\end{array}$$
对于这两个公式的整合公式如下：
$$P(y=1|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
就上述公式而言，对于二分类任务（0，1），整合后：
$y$ 取1只保留 $h_{\theta }(x)$
$y$ 取0只保留 $1-h_{\theta }(x)$

似然函数：
$$L(\theta )=\prod _{i=1}^{m}P(y_i|x_i;\theta )=\prod _{i=1}^m(h_{\theta }(x_i){)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}$$
对数似然：
$$l(\theta )=logL(\theta )=\sum _{i=1}^m[y_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i))]$$
对于此公式，我们想要达到目标需要应用梯度上升求最大值，所以在这里还需要一点小变动，引入 $J(\theta )=-\frac{1}{m}l(\theta )$ 转化为梯度下降求解

求偏导：
$$\begin{array}{rl}l(\theta )=logL(\theta )& =\sum _{i=1}^m[y_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i))]\\ \frac{\partial J（\theta )}{\partial {\theta }_j}& =-\frac{1}{m}\sum _{i=1}^m[y_i\frac{1}{h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j}-(1-y_i)\frac{1}{1-h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j}]\\ & =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j\end{array}$$
上面的步骤与线性回归的推导方法类似，但线性回归是根据此目标函数直接求解，逻辑回归算法在获得了目标函数之后再进行梯度下降来优化参数
参数更新公式：
$${\theta }_j^{\prime }={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j$$