Logistic Regression逻辑回归

Logistic Regression

对于一个二分类问题而言

$$\hat{y}=sigmoid(w^{T}x+b)=\sigma (w^{T}x+b))$$

表示样本$x$ label为1的概率，取值范围为$[0,1]$。

其中,

$$sigmoid(z)=\sigma (z)=\frac{1}{(1+e^{-z})}$$
Note:

$$\sigma (z{)}^{\prime }=\sigma (z)(1-\sigma (z))$$

则通过上述模型可以得出

$$P(y=1|x)=\frac{1}{1+e^{-x}}$$

$$P(y=0|x)=\frac{e^{-x}}{1+e^{-x}}=1-P(y=1|x)$$

另一个角度
一个事件发生的概率p与不发生的概率的比值称为该事件的几率$small\frac{p}{1-p}(odds)$。

逻辑斯蒂回归模型即$Y=1$的对数几率是输入$x$ 的线性函数（统计学习方法）。

Loss Function

一般经验来说，使用均方误差（mean squared error）来衡量Loss Function：$$L(y,\hat{y})=\frac{1}{2}(y-\hat{y}{)}^2$$ .

但是，对于logistic regression 来说，一般不适用均方误差来作为Loss Function，这是因为：

上面的均方误差损失函数一般是非凸函数（non-convex），其在使用梯度下降算法的时候，容易得到局部最优解，而不是全局最优解。因此要选择凸函数（二阶导大于等于0）。
使用MSE的另一个缺点就是其偏导值在输出概率值接近0或者接近1的时候非常小，这可能会造成模型刚开始训练时，偏导值几乎消失。
这里选择的损失函数交叉熵（信息论）损失函数:

$$L(\hat{y},y)=-(ylog(\hat{y})+(1-y)log(1-\hat{y}))$$

网上找了很多博客也没有推导交叉熵损失函数的凸性的博文，所以下面我来推导一下：

这里为了推导方便，假设$$x\in R^1$$

首先我们推导为什么MSE不是凸函数
$$L(y,\hat{y})=\frac{1}{2}(y-\hat{y}{)}^2$$

$$\frac{\partial L(w,b)}{\partial w}=\frac{\partial L(w,b)}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial w}=(\hat{y}-y)\hat{y}(1-\hat{y})x=(-{\hat{y}}^3+(1+y){\hat{y}}^2-y\hat{y})x$$

$$\frac{{\partial }^{2}L(w,b)}{\partial w^2}=\frac{\partial }{\partial w}(\frac{\partial L(w,b)}{\partial w})=(-3{\hat{y}}^2+2(1+y)\hat{y}-y)\hat{y}(1-\hat{y})x^2$$不能保证大于等于0

同理对于$$b$$有，

$$\frac{{\partial }^{2}L(w,b)}{\partial b^2}=\frac{\partial }{\partial b}(\frac{\partial L(w,b)}{\partial b})=(-3{\hat{y}}^2+2(1+y)\hat{y}-y)\hat{y}(1-\hat{y})$$不能保证大于等于0

证毕。

再推导为什么交叉熵损失函数是凸函数:

$$L(\hat{y},y)=-(ylog(\hat{y})+(1-y)log(1-\hat{y}))$$

$$\frac{\partial L(w,b)}{\partial w}=\frac{\partial L(w,b)}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial w}=-(\frac{y}{\hat{y}}-\frac{1-y}{1-\hat{y}})\hat{y}(1-\hat{y})x=(\hat{y}-y)x$$

$$\frac{{\partial }^{2}L(w,b)}{\partial w^2}=\frac{\partial }{\partial w}(\frac{\partial L(w,b)}{\partial w})=x\frac{\partial \hat{y}}{\partial w}=\hat{y}(1-\hat{y})x^2\ge 0$$

对于$$b$$同理有，

$$\frac{\partial L(w,b)}{\partial b}=\frac{\partial L(w,b)}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial b}=-(\frac{y}{\hat{y}}-\frac{1-y}{1-\hat{y}})\hat{y}(1-\hat{y})=\hat{y}-y$$

$$\frac{{\partial }^{2}L(w,b)}{\partial b^2}=\frac{\partial }{\partial b}(\frac{\partial L(w,b)}{\partial b})=\frac{\partial \hat{y}}{\partial b}=\hat{y}(1-\hat{y})\ge 0$$

证毕。