小白学习机器学习---第三章：线性模型(2)：对数几率回归

上一节讨论了如何使用线性模型进行回归学习，通过最小二乘法可以很快求解各参数。

但是如果要做的是分类任务，这时候，只需要找到一个单调可微函数将分类任务真实标记y与线性回归模型的预测值联系起来。

将线性回归模型简写为：

对数线性回归模型可以写成：

本质上仍然是线性回归，只不过拟合的是非线性的ln函数了。 

更一般地，考虑单调可微函数g(*),令， 这个模型就叫做 广义线性回归模型 。

对于二分类任务，输出标记  y∈{0,1}, 而线性回归模型产生的预测值  ，，很明显是一个连续的值，所以为了完成分类任务，需要将其转换为0,1值进行分类。

最理想的函数是“单位阶跃函数”(unit-step function):

                                                  

也就是，若预测值大于0，就判为正例；若预测值小于0，就判为负例；临界处任意判别。

但是阶跃函数不可导，不连续，而必须是一个可微的函数，所以阶跃函数不能用作，还需要找到一个连续函数代替阶跃函数。

我们常常使用对数几率函数（logistic function）来进行代替：

                                            

                                                  

         画出图形会看到它形似S型