机器学习—逻辑回归

逻辑回归

往期相关内容

单变量线性回归
多变量线性回归

简介

逻辑回归的本质就是利用类似于线性回归的方法，解决分类问题。其本质是一个分类算法。

模型表示

$$h_{\theta }(x)=g({\theta }^{T}X)$$
其中，X代表特征向量；g代表逻辑函数，常用sigmoid function：
$$g(z)=\frac{1}{1+e^{-z}}$$
该函数的图像为：

  该模型可以理解为，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性，即$h_{\theta }=P(y=1|x;\theta )$。例如，对于给定的x，计算达到$h_{\theta }(x)=0.7$，则表示x有70%的概率为正类。所有，在逻辑回归中：
$$y=\{\begin{array}{ll}0,& \text{if hθ(x)≤0.5}\\ 1,& \text{if hθ(x)≥0.5}\end{array}$$

代价函数

$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$
其中：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& \text{if y = 1}\\ -log(1-h_{\theta }(x))& \text{if y = 0}\end{array}$$
可简化如下：
$$Cost(h_{\theta }(x),y)=-y\times \log (h_{\theta }(x))-(1-y)\times \log (1-h_{\theta }(x))$$
带入代价函数可以得到：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$

梯度下降

$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$$
除了梯度下降法，我们还可以使用共轭梯度法 BFGS、L-BFGS 对代价函数进行优化。