逻辑回归学习笔记

逻辑回归

逻辑回归是一个二分类问题，在分类过程值中可以得到代分类样本所属类别的概率。对于输入x和输出预测结果$y=\{0,1\}$，逻辑回归采用sigmoid函数，将实数域的x映射到$[0,1]$区间。sigmoid函数如下所示

$h(\theta x)=\frac{1}{1+e^{-\theta x}}$
则可以得到输入x属于正例和反例的概率，如下
$P{y=1|x}=h(\theta x)$
$P{y=0|x}=1-h(\theta x)$
由于模型优化的目标是期望风险最小，由于这里采用的是条件概率模型，换句话说，就是学习一个使训练集出现概率最大的参数 $\theta$，即使似然函数值最大的参数。从而
对于样本集和未知参数，我们可以得到其似然函数
$L(x,y|\theta)=\prod\limits_i {h{{(\theta {x_i})}^{{y_i}}}{{(1 - h(\theta {x_i}))}^{1 - {y_i}}}}$
两边取对数，可以得到
$ln(L(x,y|\theta))=\sum\limits_i {{y_i}\log (h(\theta {x_i})) + (1 - {y_i})\log (1 - h(\theta {x_i}))}$
这里需要注意的事，这里采用了对数损失函数，虽然sigmoid函数是非线性函数，但是该事件的对数几率为 $\theta x$，即线性函数，（大概）因此逻辑回归是一个线性分类问题。
一般来说，优化问题转化为最小优化问题。从而，我们可以得到逻辑回归的代价函数为
$Loss(x,y|\theta)=-\frac{1}{N}\sum\limits_i \{{y_i}\log (h(\theta {x_i})) + (1 - {y_i})\log (1 - h(\theta {x_i}))\}$

为了提高目标函数的泛化能力，避免过拟合（一般来说过拟合是由于预测函数具有高方差导致的——训练集太小、模型过于复杂、噪声干扰），引入正则项进行约束。正则化的目的是选择经验分险和模型复杂度同时小的模型。由于正则项一般是参数的单调递增函数，模型越复杂，正则项越大。添加正则项之后的代价函数为

$Loss(x,y|\theta)=-\frac{1}{N}\sum\limits_i \{{y_i}\log (h(\theta {x_i})) + (1 - {y_i})\log (1 - h(\theta {x_i}))\}+\lambda||\theta||$
最小化目标函数，可以采用梯度下降求解。
从而有
$\theta : = \theta - \alpha \frac{{\partial Loss}}{{\partial \theta }}$
其中，这里假设正则项为2范数
$\frac{{\partial Loss}}{{\partial \theta }} = ({y_i} - h(\theta {x_i})){x_i} + 2\lambda \theta$

逐层迭代可以得到目标函数，即预测函数。

SoftMax
softmax即多项逻辑回归，实现的是二分类到多分类的推广。
假设分类类别为$\{1,2,...k,K\}$，对于每一个类别，需要单独学习一个参数$\theta_k$，从而预测函数为

$P(y=k|x)=\frac{ e^{\theta_k x}}{1+\sum e^{\theta_k x}}$
$P(y=K|x)=\frac{1}{1+\sum e^{\theta_k x}}$