算法梳理之逻辑回归

  前面介绍了输入与输出皆为连续值的线性回归，现在介绍一个用于分类的广义线性回归—逻辑回归，将线性回归的结果作为一个联系函数的输入，选择合适的联系函数便可很好的实现分类的目的。
  线性回归中回归的目标是使得回归值接近我们的标签，如果我们想让回归的目标为标签的衍生物呢？如对数线性回归$lny=w^{T}x+b$。此时实际上是让$e^{w^{T}x+b}$逼近$y$，是在求取输入空间到输出空间的非线性函数映射，将线性回归的预测值通过联系函数与真实的预测值联系在了一起。同理，如果此时我们的真实预测值是一个二值结果{0,1},通过何种联系函数能将线性回归的预测值变为二值结果呢？Sigmoid函数便是很理想的一个函数，连续且可微，值域为$(0,1)$,将Sigmoid作为联系函数后的结果与0.5进行大小比较便可得到一个二值的结果。

将Sigmoid函数作为联系函数后：
$y=\frac{1}{1+e^{-(w^{T}x+b)}}$
有$ln\frac{y}{1-y}=w^{T}x+b$
将$y$视为类的后验概率估计$p(y=1|x)$则有：
$ln\frac{p(y=1|x)}{p(x=0|x)}=w^{T}x+b$
进一步有：
$p_1=p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},$
$p_0=p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$
构建使每个样本属于其真实标记的概率最大的似然函数：
$p(y_i|x_i;w,b)=y_i{p}_1+y_i{p}_0$
最大化似然函数相当于最小化$l(\beta )={\sum }_{i=1}^m(-y_i{\beta }^T\widehat{x_i}+ln(1+e^{{\beta }^T\widehat{x_i}}))$其中$\beta =(w,b),\hat{x}=(x;1)$。
$l(\beta )$为高阶可导连续凸函数可以使用梯度下降和牛顿法求解。