概述
前面讲述了线性回归,线性回归的模型 y=wT+by = w^T + by=wT+b。模型的预测值逼近真实标记y。那么可否令模型的预测值逼近真实标记y的衍生物呢。比如说模型的预测值逼近真实标记的对数函数。下面引入逻辑回归的知识。
首先庆祝大家1024程序员节日快乐!!
文末有福利!
转换函数
我们需要一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来,所以需要一个转换函数将线性模型的值与实际的预测值关联起来。 考虑二分类问题,其输出标记是y属于{0,1},而线性模型产生的预测值是z=wT+bz = w^T + b z=wT+b是实值,那么我们需要将这个实值转化成0/1值,最理想的函数是单位阶跃函数。
单位阶跃函数
单位阶跃函数(unit-step function),如下图,如果预测值大于零则判断为正例;如果预测值小于零则判断为反例;为零的则任意判断。如下图所示。
\begin{equation} y = \begin{cases} 0 & \mbox{if z < 0}\\ 0.5 & \mbox{if z = 0} \\ 1 & \mbox{if z > 0} \end{cases} \end{equation}
sigmoid function
从图中可以看出,单位阶跃函数不连续因此不适合用来计算。这里我们引入sigmoid函数,进行计算。
y=11+e−zy = \dfrac{1}{1 + e^{-z}}y=1+e−z1
将z值转化为一个接近0或1的y值,并且其输出值在z=0的附近变化很陡。那么我们现在的模型变化成
y=11+e−(wT+b)y = \dfrac{1}{1 + e^{-(w^T + b)}}y=1+e−(wT+b)1
几率与对数几率
几率:如果将y作为正例的可能性,1-y作为负例的可能性,那么两者的比值y1−y \dfrac{y}{1 - y}1−yy称为几率,反应了x作为正例的相对可能性。则根据sigmoid函数可得。
lny1−y=wT+b ln\dfrac{y}{1 - y} = w^T + bln1−yy=wT+b
lny1−y ln\dfrac{y}{1 - y}ln1−yy称为对数几率;
**由此可以看出,y=11+e−(wT+b)y = \dfrac