上一节讨论了如何使用线性模型进行回归学习,通过最小二乘法可以很快求解各参数。
但是如果要做的是分类任务,这时候,只需要找到一个单调可微函数将分类任务真实标记y与线性回归模型的预测值联系起来。
将线性回归模型简写为:
对数线性回归模型可以写成:
本质上仍然是线性回归,只不过拟合的是非线性的ln函数了。
更一般地,考虑单调可微函数g(*),令,
这个模型就叫做
广义线性回归模型
。
对于二分类任务,输出标记 y∈{0,1}, 而线性回归模型产生的预测值 ,,很明显是一个连续的值,所以为了完成分类任务,需要将其转换为0,1值进行分类。
最理想的函数是“单位阶跃函数”(unit-step function):
也就是,若预测值大于0,就判为正例;若预测值小于0,就判为负例;临界处任意判别。
但是阶跃函数不可导,不连续,而必须是一个可微的函数,所以阶跃函数不能用作,还需要找到一个连续函数代替阶跃函数。
我们常常使用对数几率函数(logistic function)来进行代替:
画出图形会看到它形似S型