机器学习6.1-6.7：Logistic回归

6.1 分类

当预测的值为离散型变量时，我们将这类问题归于监督学习的分类问题。举例来说，垃圾邮件的判断，肿瘤良性恶性的判别等即属此类。
预测的值仅为0或1时，0被称为负类(negative class)，1被称为正类(positive class)。 但同时，我们也存在多分类的问题，比如优良中差等级评定等问题。如图所示：

6.2 模型假设

我们在这里引入一个新的模型——逻辑回归(Logistic regression)。 同时，我们还要补充一个函数知识：
逻辑函数 (logistic function) ,它保证了输出一定位于0-1之间。
$$g(x)=\frac{1}{1+e^{-z}}$$
其函数图像如图所示：

逻辑回归模型认为，或者说，有这样的假设：
$$h_{\theta }(x)=g({\theta }^{T}x)$$
即：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
在这里，$h_{\theta }(x)$代表概率，即根据输入值得出输出为1的概率。举例来说，这里有一个输入：

$x_0$仍然和线性回归时一样为1，$x_1$为肿瘤大小。我们根据给定的x值得出$h_{\theta }(x)=0.7$，说明输出值为1的概率为0.7，即恶性肿瘤的概率为0.7。 用数学表达式来阐述的话就是：
$$h_{\theta }(x)=P(y=1|x;\theta )$$即在给定条件x的情况下，y=1的概率。这个概率的参数为$\theta$.

6.3 决策边界

仍以上一节例子继续阐述。

在这里，我们以0.5为分界线。
$$h_{\theta }(x)\ge 0.5时，预测y=1$$
$$h_{\theta }(x)<0.5时，预测y=0$$
我们之前说过的逻辑函数有一个很好的性质，如上图所示，当函数值大于0.5时，自变量大于0；当函数值小于0.5时，自变量小于0。所以可以得出以下结论：
$${\theta }^{T}x\ge 0时，预测y=1$$
$${\theta }^{T}x<0时，预测y=0$$
接下来我们进入模型训练，假设我们已经拟定好了模型的参数：
$$\theta =\left[\begin{array}{c}-3\\ 1\\ 1\end{array}\right]$$
现在要对以下的数据集进行预测：

根据我们上文提到的公式，要预测"y=1",则需要$-3+x_1+x_2\ge 0$;要预测"y =0"，则需要$-3+x_1+x_2<0$（反之依然成立）。
在上图中作出$-3+x_1+x_2=0$的图像，如图所示：

因此，我们认定为恶性肿瘤的区域即为直线的上方区域，认定为良性肿瘤的区域为直线的下方区域，这条直线即被称为决策边界(decision boundary)。
我们还给出一个较为复杂的例子，如图所示：

这里我们不加证明的使用$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$作为我们的假设函数，同时令：
$${\theta }_0=-1,{\theta }_1=0,{\theta }_2=0,{\theta }_3=1,{\theta }_4=1$$
$$即\theta =\left[\begin{array}{c}-1\\ 0\\ 0\\ 1\\ 1\end{array}\right]$$
因此，当$-1+x_1^2+x_2^2\ge 0时，y=1;-1+x_1^2+x_2^2<0时,y=0。$
作出决策边界如下：

在这里我们得出了一个更为复杂的决策边界。实际上，通过改变参数$\theta$的值，我们可以创造非常多样化的决策边界。

6.4 代价函数

一个典型的Logistic回归问题所具有的条件是这样的：

训练集：{( $x^{(1)}$,$y^{(1)}$),($x^{(2)}$,$y^{(2)}$)…($x^{(m)}$,$y^{(m)}$)}；一共有m个样本。
变量：任一x均为向量形式的变量“合集”，即:$x^{(i)}=\left\{\begin{array}{c}{x}_0\\ x_1\\ ...\\ x_n\end{array}\right\}$,其中$x_0=1$，$y\in [0,1]$。
函数 ：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^T}x}$

另外，我们将原来线性回归里的损失函数形式：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
改写为以下形式：
定义函数:
$$Cost(h_{\theta }(x^{(i)}),y^{(i)})=\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
或者进一步地，去掉这些上标，即考虑整个样本内的情况：
$$Cost(h_{\theta }(x),y)=\frac{1}{2}(h_{\theta }(x)-y{)}^2$$
但是，实践表明，在$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^T}x}$的情况下，该损失函数的图像是一个非凸函数(non-convex function) 而不是一个凸函数(convex_function)。其原因在于$h_{\theta }(x)$并不与线性回归的预测函数一致，是一个线性函数。

$$若对非凸函数使用梯度下降法，则它很难收敛到全局最小值$$
因此，我们考虑引入一种新的损失函数，该损失函数需要满足以下特点：

• 当$y=1,h_{\theta }(x)=0$时，损失函数应该有最大值。
• 当$y=0,h_{\theta }(x)=1$时，损失函数应该有最大值。
• 有全局最小值，最好没有局部最小值

考虑到此时的预测函数特点，我们定义损失函数如下：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& ,y=1时\\ -log(1-h_{\theta }(x))& ,y=0时\end{array}$$

如上图所示

6.5 简化后的损失函数以及梯度下降

根据之前所说的，分类问题下的损失函数可以表示为：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x))& ,y=1时\\ -log(1-h_{\theta }(x))& ,y=0时\end{array}$$
由于分类问题下，数据集中的样本Y值要么为0要么为1。基于此，我们考虑将上面的损失函数合并成一个函数以简化使用。
$$Cost(h_{\theta }(x),y)=-y\log (h_{\theta }(x))-(1-y)\log (1-h_{\theta }(x))$$
考虑“上标”问题（更为严谨的写法）：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^i),y^{(i)})$$
$$=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$
然后，类比我们之前在线性回归中使用的梯度下降法：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J({\theta }_0,{\theta }_1...{\theta }_n)}{\partial {\theta }_j}$$
带入$J(\theta )$:
$$={\theta }_j-\alpha \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
上式中，$\frac{1}{m}$被归到了学习率$\alpha$中。
实际上，对比之前在线性回归中的梯度下降法，我们会惊讶地发现两者惊人的一致。
线性回归中的梯度下降:
$${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i)\ast x_i$$
$$={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y)x_1^{(i)}$$

6.6 高级优化

我们现在设计机器学习算法的目的是找到最优的模型参数$\theta$。为此，我们需要计算两个量:

• 损失函数$J(\theta )$
• 偏导数$\frac{\partial }{\partial \theta }J(\theta )$

相对应的，我们目前有这些优化算法：

• 梯度下降
• 共轭梯度法
• BFGS
• L-BFGS

后面加粗的这些算法相较梯度下降来说更有优势，它们收敛的更快，可以智能选择学习率，同时也更为复杂。

6.7 一对多(one-vs-all)的分类问题

除开上文所述的二元(binary)分类问题以外，我们通常还会遇到以下一些问题：

天气有晴，雨，多云，雪等类别
病人的癌症有肝癌，肺癌，胃癌等类别

如果以图像的形式来看的话就如下图所示：

上图同时也描述了在现有框架下的一种解决方法。如图所示，将问题转变为三个二分类问题依次构造分类器。同时也起到了交叉验证的效果。