机器学习笔记(11)---Logistic回归

前言

我记得刚学习机器学习不久的时候，去看吴恩达老师的机器学习视频，他的第二讲就是关于监督学习梯度下降相关的内容，梯度下降正是和今天讲的Logistic回归有关的，当时看那视频真心累，数学公式见一个不认识一个，看一讲视频要半个月。但是功夫不负有心人，经过一年多的打基础，现在终于可以比较容易的 看懂相关知识点了，现把《机器学习实践》第五章Logistic回归做一个学习笔记。

Logistic回归

利用Logistic回归进行分类的思想是：根据现有的样本数据对分类边界线建立回归公式，以此进行分类。此“回归”即表示最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是使用最优化算法寻找最佳拟合参数。

如果预测的是离散值，叫分类，比如流量报文是“正常报文”还是“异常报文”；如果预测的是连续的，叫回归。但是Logistic回归是个特殊的回归，实际上它是个离散的二分类算法。

Logistic回归其实记住sigmoid函数就知道怎么回事了。sigmoid函数公式如下

$$\sigma=\frac{1}{1+e^{-z}}$$

其特点是，当$z=0$时，其值为0.5，随着z值的增加，对应的sigmoid值逼近于1；而随着z值的减小，sigmoid值将逼近于0。

那么sigmoid函数如何用呢？我们可以在每个特征上都乘以一个回归系数（或者叫权重），然后把所有的结果值相加，将这个总和代入sigmoid函数，从而得到一个0~1之间的数值，任何大于0.5的数据被分入1类，小于0.5的被分入0类。所以，Logistic回归也被看做是一种概率估计。

分类器函数知道后，现在关注的就是回归系数是多少？这就引出了本书接下来要讲的两种方法：使用梯度上升和随机梯度上升方法寻找最佳回归系数。另外还有一种方法本书没有介绍，叫正归方程，这个在吴恩达老师的视频及随课讲义中讲的很详细。

注：梯度上升和下降是同一概念，就差一个符号。

梯度上升公式：