美团机器学习实践笔记（三）

第三章 常用模型

3.1 逻辑回归

逻辑回归是一种广义线性模型，它与线性回归模型包含的线性函数十分相似。但逻辑回归通过对数概率函数将线性函数的结果进行映射，目标函数的取值空间从(一∞，+∞) 映射到了(0，1) ,从而可以处理分类问题。

我们将线性回归与逻辑回归进行对比，可以发现线性回归模型在训练时在整个实数域上对异常点的敏感性是一致的(见图3-1 )，因而在处理分类问题时线性回归模型的效果较差，线性回归
模型不适合处理分类问题。对于二分类任务，逻辑回归输出标记y ε{0 ，1} ，而线性回归模型产生的预测值y= eTx是实值，所以我们需要一个映射函数将实值转换为0-1的值。

(逻辑回归模型) 二项逻辑回归模型有如下的条件概率分布
使用梯度下降法对逻辑回归进行求解的过程：
令
构造最大似然概率: