对数几率回归不是回归函数而是分类函数。
广义线性模型
提出问题:需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来
线性回归预测值,应用于分类问题一般选用“单位阶跃函数”
但阶跃函数不连续,而对数几率函数正好可以替代阶跃函数,它单调可微,函数表达式为
把线性模型代入得到
(1)
根据对数形式进行更新变形为:
(2)
y视为样本x为正例的可能性,1-y则放映了做为反例的可能性。
利用对数几率回归进行分类的优点:
1.无需视线假设数据分布,避免了分布不准确所带来的问题;
2.不仅预测出类别,而且磕到近似概率预测;
3.任意阶磕到的凸函数,比较好优化;
下面推到怎样求模型中的w和b:
对于某一个分类任务,结果输出(0,1)
根据式子(1)中的y视为类后验概率估计
则式子(2)可以写成:
与
组合解出:
可以通过最大似然估计来计算w和b,给定数据集,对率回归模型最大化“对数似然”:
为了方便令则可简化为
再令
根据最大似然估计代入对数似然模型中得到
上式是关于的高阶可导连续凸函数,根据凸优化理论,经典的数值优化算法如梯度下降法、牛顿法等求得最优解
算法思路: