【机器学习模型详细推导2】- 逻辑回归

1. 模型引入

线性模型可以进行回归学习（参见【机器学习模型1】- 线性回归），但如何用于分类任务？需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。
对于二分类任务，输出标记 $y$ 取值 { 0 , 1 } \{0, 1\} { 0,1}，而线性回归预测值 $z=w^{T}x+b$ 属于实数集 $R$，所以需要一个变换使实值 $z$ 映射到 $0/1$ 值。
引入 $Sigmoid$ 函数：$y=\frac{1}{1+e^{-z}}$，可以将 $z$ 值转为一个接近0或1的 $y$ 值，而且单调可微。图像如下：

2. 模型描述

根据广义线性模型 $y=g^{-1}({\theta }^{T}x)$定义，将Sigmoid函数作为$g^{-1}()$代入：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

对数几率函数：逻辑回归也称为对数几率函数。

• $h_{\theta }(x)$反映了作为正例的可能性 ，则 $1-h_{\theta }(x)$ 反映了作为负例的可能性
• 所以$\frac{h_{\theta }(x)}{1-h_{\theta }(x)}$反映了作为正例的相对可能性，$\frac{h_{\theta }(x)}{1-h_{\theta }(x)}>1$，则为正例，称为 “几率”。
• $ln\frac{h_{\theta }}{1-h_{\theta }(x)}$