机器学习算法梳理2-逻辑回归

机器学习算法-逻辑回归

一、前言

1.1、回归问题的条件/前提：

1、收集数据

2、假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数，然后利用这个模型去预测/分类新的数据。

回归算法是一种通过最小化预测值与实际值之间的差距，从而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测我们可以用线性回归等，而对于离散值/类别预测，我们可以用采用逻辑回归。逻辑回归是一种简单、高效的常用分类模型，能处理二分类或者多分类问题。

1.2、逻辑回归基本原理

（1）、寻找一个合适的预测函数，一般表示为h函数。该函数即我们需要找的分类函数，它用来预测输入数据的判断结果。

（2）、构造Cost函数（损失函数）。该函数表示预测的输出h与训练数据类别y的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的损失，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。

（3）、J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的就是找到J(θ)的最小值。找函数的最小值有不同的方法，逻辑回归可以采用梯度下降法。

1.3、逻辑回归于线性回归的联系、异同：

逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数，但本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤、算法都是线性回归的。可以说，逻辑回归都是以线性回归为理论支持的。

不同的是，线性模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

二、逻辑回归模型

2.1 sigmoid函数：

逻辑回归首先把样本映射到[0，1]之间的数值，归功于sigmoid函数，它可以把任何连续的值映射到[0,1]之间，数越大越趋向于1，越小越趋向于0。sigmoid函数公式如下：

                                                                                   

其对应的函数图像如下：

 

这个函数有两个很好的特性：

1、当z趋于正无穷时，g(z)→1，z趋于负无穷时，g(z)→0。

2、g'(z) = g(z)(1-g(z))，这在后面公式推导中会用到。

2.2 逻辑回归模型

考虑具有n个独立变量的向量，设条件概率为根据观测量相对于某事件x发生的概率。

那么逻辑回归模型可以表示为：

                                                                           

这里即为sigmoid函数(也称Logistic函数)，其中，即线性回归算法梳理中的线性回归模型表示。

那么在x条件下y不发生的概率表示为：<