机器学习(三)回归问题之对数几率回归

 
 
        对于二分类任务，其输出的标签 y ∈ { 0 , 1 } y\in \{0, 1\} y∈{0,1}，而线性回归模型产生预测值 $z=w^{T}x+b$是一个实数，因此需要通过一个模型映射到 0/1值，此时最理想的是“单位阶跃函数”，如下图：
                        

红线部分则是 单位阶跃函数 ，黑线则是 logistic function，由于其不连续性，此时特别需要一个即连续可微，又能在一定程度上近似单位阶跃函数的替代函数 — 对数几率函数(logistic function)，又称为 Sigmoid函数。

                
若将上式的 y 看成是类后验概率，则上式重写为：
        
那么就有：
                        

---

详细讲述推导过程：
                
对于 w 和 b 的取值则需要通过最大似然估计来确定：

推导：
                

此时转变为优化问题：
        

对于多类分类问题的话（不是上面的二分类问题）则是使用 Softmax回归。