（五）逻辑回归

逻辑回归模型（Logistic Regression）

动机与目的

---

逻辑回归主要用于分类问题（预测目标是类别型变量），介绍逻辑回归前，我们先了解下为什么不能用回归模型进行分类问题的处理？
一个例子：
有一批数据，$x$代表肿瘤大小，$y$代表是否是恶性肿瘤（是为1，不是为0）

$x(cm)$	$y$
10	0
15	0
20	0
25	0
45	1
50	1
55	1
60	1
150	1

当数据$x\le 150$时，我们可以用线性回归拟合一个模型（蓝线），当该模型的预测结果$\hat{y}\ge 0.5$时就预测1，否则预测0，模型可以较好区分数据，但如果出现一个$x\ge 150$的数据，此时拟合的模型（绿线）通过$\hat{y}\ge 0.5$时预测为1，否则为0就不能很好区分所有数据。可以看到线性回归模型用于分类时的局限性：

• 对待异常值不稳定性极大
• 预测值$\hat{y}$与结果1和0没有明显对应关系（下图中绿线$x$越大，$y$越大）

模型解释

---

逻辑回归模型：$$f_{\vec{w},b}(\vec{x})=\frac{1}{1+e^{-(\vec{w}\cdot \vec{x}+b)}}$$
其实就是在原来线性回归模型$\vec{z}=\vec{w}\cdot \vec{x}+b$上套上一个sigmoid函数$f(\vec{z})=\frac{1}{1+e^{-\vec{z}}}$，这样输出的值范围就落在了0-1的范围内（如下图左所示），完美的将二分类问题转为成了概率问题，所以通常逻辑回归也可以写成$f_{\vec{w},b}(\vec{x})=P(y=1|\vec{x};\vec{w},b)$。

决策边界

---

如下图所示，可以看到当$z\ge 0$时，$\hat{y}$输出为1（以0.5为阈值），当$z\le 0$时，$\hat{y}$输出为0。此时我们可以将$\vec{z}=\vec{w}\cdot \vec{x}+b=0$称为决策边界。对于二分类问题而言决策边界可以推广到任意情况，因为任意二分类模型都可以在回归模型$z$（不一定线性）的外面套上相应的分类函数$g(z)$，此时当回归模型$z=0$时就是该分类问题的决策边界（如对圆形数据划分）。

代价函数（Cost Function）

---

因为逻辑回归模型是非线性的，所以对应的代价函数如果采用最小平方损失（squared error cost）的话得到的函数是非凸的（non-convex），梯度下降无法求解。所以我们需要找到一个使代价函数为凸函数的方法。由此定义逻辑回归的损失函数Loss Function（代价函数是所有数据损失函数的求和）：$$L(f_{\vec{w},b}({\vec{x}}^{(i)}),y^{(i)})=\{\begin{array}{ll}-log(f_{\vec{w},b}({\vec{x}}^{(i)}))& \text{ if }{y}^{(i)}=1\\ -log(1-f_{\vec{w},b}({\vec{x}}^{(i)}))& \text{ if }{y}^{(i)}=0\end{array}$$
直观理解:

• 当$y^{(i)}=1$时，损失函数如图下粉色部分所示，当预测模型（逻辑回归模型）$\hat{y}=f$越接近1时候$Loss$才会更小；
  

• 当$y^{(i)}=0$时，损失函数如图下粉色部分所示，当预测模型（逻辑回归模型）$\hat{y}=f$越接近0时候$Loss$才会更小。
  

进一步我们可以将损失函数简化为（代入$y$的值与上面就是等价）：$$L(f_{\vec{w},b}({\vec{x}}^{(i)}),y^{(i)})=-y^{(i)}log(f_{\vec{w},b}({\vec{x}}^{(i)}))-(1-y^{(i)})log(1-f_{\vec{w},b}({\vec{x}}^{(i)}))$$

所以代价函数为：
$$J(\vec{w},b)=\frac{1}{m}\sum _{i=1}^{m}L(f_{\vec{w},b}({\vec{x}}^{(i)}),y^{(i)})$$
$$=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}log(f_{\vec{w},b}({\vec{x}}^{(i)}))+(1-y^{(i)})log(1-f_{\vec{w},b}({\vec{x}}^{(i)}))\right]$$
这个函数来源于统计学中的最大似然估计（Maximum Likelihood Estimate）。

最大似然估计理解：
原数据对应的预测模型可以用概率形式表示：
$p(y=1|\vec{x};\vec{w},b)=h_{\theta }(x)$
$p(y=0|\vec{x};\vec{w},b)=1-h_{\theta }(x)$
这里$\theta$为参数$\vec{w},b$，上式可合并为（代入$y$）：
$$p(y|\vec{x};\vec{w},b)=h_{\theta }(x{)}^y\ast (1-h_{\theta }(x){)}^{1-y}$$最大似然估计就是求使总的概率$P$达到最大值时概率$h_{\theta }(x)$的值（可以理解为现有的数据是从一个概率分布中以概率最大的方式生成的。比如一个袋子有黑球和白球，从中抽取10次，抽到6次黑球，4次白球，假设抽到黑球的概率为$p$，那么10次抽球结果的总的概率可以表示为$P=p^6\ast (1-p{)}^4$，观测到的结果可以认为是以最大概率产生的结果，那么求解$p$的值就可以取$maxP$时对应的$p$值。这里的$p$对应上面的$h_{\theta }(x)$，黑球对应为$y=1$，白球则是$y=0$）。
所以观测数据生成的总概率$P$可以表示为：$L(\theta )={\prod }_{i=1}^m{h}_{\theta }(x^i{)}^{y^i}\ast (1-h_{\theta }(x^{(}i)){)}^{1-y^i}$，为了方便求解，两边取对数（不改变最值方向）
$$logL(\theta )=\sum _{i=1}^m{y}^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))$$
最大似然估计求的是最大值，我们可以转变为用梯度下降算法求以下函数最小值$minJ$，所以这里可以将代价函数$J$定义为（这个转化对求解参数是等价的）
$$J(\theta )=-\frac{1}{m}logL(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]$$

• 加上负号改变最值方向
• 除以m不改变$h_{\theta }(x^i)$结果，方便评估平均损失

通过最大似然估计构造的代价函数和最初构造的代价函数是一样的。

运用梯度下降算法求解逻辑回归参数（$w,b$）

---

1. 构造代价函数 $$J(\vec{w},b)=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}log(f_{\vec{w},b}({\vec{x}}^{(i)}))+(1-y^{(i)})log(1-f_{\vec{w},b}({\vec{x}}^{(i)}))\right]$$，其中$f_{\vec{w},b}(\vec{x})=\frac{1}{1+e^{-(\vec{w}\cdot \vec{x}+b)}}$

2. 求$w_j$和$b$对应的偏导数（梯度）$$\frac{\partial J(\vec{w},b)}{\partial w_j}=\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)},\frac{\partial J(\vec{w},b)}{\partial b}=\frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})$$推导：
   $\frac{\partial J(\vec{w},b)}{\partial w_j}=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}}{f_{\vec{w},b}({\vec{x}}^{(i)})}-\frac{1-y^{(i)}}{1-f_{\vec{w},b}({\vec{x}}^{(i)})}\right]\frac{\partial f_{\vec{w},b}({\vec{x}}^{(i)})}{\partial w_j}$
   $=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}}{f_{\vec{w},b}({\vec{x}}^{(i)})}-\frac{1-y^{(i)}}{1-f_{\vec{w},b}({\vec{x}}^{(i)})}\right]f_{\vec{w},b}({\vec{x}}^{(i)})(1-f_{\vec{w},b}({\vec{x}}^{(i)}))\ast x_j^{(i)}$
   $=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{(i)}(1-f_{\vec{w},b}({\vec{x}}^{(i)}))-(1-y^{(i)})f_{\vec{w},b}({\vec{x}}^{(i)})\right]\ast x_j^{(i)}$
   $=\frac{1}{m}{\sum }_{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}$
   同理可推导出$b$的偏导数。
   补充：
   $\frac{\partial f_{\vec{w},b}({\vec{x}}^{(i)})}{\partial w_j}=(\frac{1}{1+e^{-(\vec{w}\cdot {\vec{x}}^{(i)}+b)}}{)}^{\prime }$
   $=-\frac{-e^{-(\vec{w}\cdot {\vec{x}}^{(i)}+b)}\ast x_j^{(i)}}{(1+e^{-(\vec{w}\cdot {\vec{x}}^{(i)}+b)}{)}^2}$
   $=\frac{1}{1+e^{-(\vec{w}\cdot {\vec{x}}^{(i)}+b)}}\ast (1-\frac{1}{1+e^{-(\vec{w}\cdot {\vec{x}}^{(i)}+b)}})\ast x_j^{(i)}$
   $=f_{\vec{w},b}({\vec{x}}^{(i)})(1-f_{\vec{w},b}({\vec{x}}^{(i)}))\ast x_j^{(i)}$

3. 运用梯度下降算法迭代求解，先随机设置$w_j$和$b$的值，然后更新所有$w_j,b$$$tmp{w}_j=w_j-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)},j=1,2,3,...,n$$$$tmpb=b-\alpha \frac{1}{m}\sum _{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})$$update$$w_j=tmp{w}_j,b=tmpb$$

4. 每次迭代后观察$J$是否收敛，如果达到收敛，则此时对应的$\vec{w}$和$b$的值就是逻辑回归模型的最优参数，随着迭代次数的增加，Cost$J$会逐渐收敛到一个固定值。