机器学习03-分类问题

之前我们有提到邮箱里垃圾邮件分类、肿瘤分类，就是分类问题的一种，是两类分类问题。在这些问题中，我们可以尝试预测的变量y是有两个取值的变量，0或1，就等于垃圾、不垃圾，恶性、良性，通常0表示负类、1表示正类。通常1是代表我们需要寻找的东西。

假设我们现在有一个给定的训练集，图示如下：

如果我们用直线去拟合它，我们可能会得到下面的图：

门槛（分界线）设在0.5，如果小于0.5，则等于0，大于0.5，则等于1。

用直线设置下图看似很合理，假如我们有另一个训练样本位于右边处，如下：

而我们拟合出来的线就会发生变化：

而这样的拟合你就发现，拟合的效果并不好。

而且假设函数的输出值会大于1或者小于0，因此我们就要用到一个名为logistic回归的算法（说是回归，但是是用于分类的算法），特点在于，预测值都会在0到1之间，不会大于1或小于0

logistic回归算法

众所周知，如果用线性回归算法，假设函数的公式就是这个：

而logistic回归算法，就是把右边的式子套进一个函数中，如下：

而g（z）的表达式则如下：

因此假设函数h等于：

而图示是这样的：

根据图示，h(x)的结果只会在0-1之间，而这个h(x)的值是一个条件概率：

意思是在参数θ和参数x的条件下，y=1的概率是多少。

用肿瘤大小举例的话，就是在参数θ和肿瘤大小x的条件下，该肿瘤是恶性肿瘤的概率是多少。

看图可知，θTX>=0时，g(z)>=0.5，y=1,θTX<0时，g(z)<0.5，y=0

决策界限

什么是决策界限呢，其实和上面所说到的门槛十分相像，决策界限内的一种结果，决策界限外是另一种结果。

例如，我们现在有一个训练集，分布是如下：

假设我们已经有一个此模型的参数，如下：

假设我们的θ=[-3,1,1]，根据上面的规则，即当参数是-3+x1+x2>=0，y=1，也就是打叉部分，而 -3+x1+x2=0 就是我们的决策界限。

而这个参数怎么设置，后面再说，

现在我们看一个更复杂的例子：

看到这幅图，第一感觉就是决策界限应该是个园，所以我们的h(x)是：

θ=[-1,0,0,1,1],然后我们就可以画出一个圆作为这个训练集的决策界限：

我们已经知到了决策界限，知道了假设函数，下面我们来看看logistic回归算法的代价函数是什么？

logistic回归算法的代价函数

已知线性回归函数的公式如下：

我们设一个cost函数，如下：

而代价函数J就可以变成如下的样子：

而我们知道，logistic回归算法的假设函数h(x)已经变成了如下式子：

因此，如果把logistic回归算法的假设函数h(x)放到线性回归算法的代价函数中，就会产生出一个非凸函数：

这样的一个非凸函数不能通过梯度下降法计算出我们想要的最优解，我们想象的代价函数的图应该是和线性回归时的图一样光滑才对。

而logistic回归算法的cost函数是怎么样的呢？

如下：

如果我们是要看y=1的概率的话，cost函数的图就会像这样：

当y=1时，如果h(x)=1，cost函数的值就等于0，也就是说恶性肿瘤的概率是0。如果h(x)无限接近于0，cost函数的值就无限接近于无穷，也就是恶性肿瘤的概率是无限接近于100%。

如果我们是要看y=0的概率的话，cost函数的图就会像这样：

当y=0时，如果h(x)无限接近于1，cost函数的值就无限接近于无穷，也就是良性肿瘤的概率是无限接近于100%。如果h(x)=0，cost函数的值就等于0，也就是良性肿瘤的概率等于0。

cost函数整合

那现在我们知道了logistic回归算法的代价函数，如下：

而cost函数是一个多项式，如下：

我们的y只能等于0或1.

我们可以把cost函数整合到一起，更加方便写出代价函数，并推导出梯度下降。整合式子如下：

这是因为y只能去0或1，当y=0或y=1时，式子就和未拆分前一样。

因此，我们的代价函数是：

这条式子是用概率学中的极大似然法得出来的，而它也是一个凸函数。

然后我们算出最小的代价函数J，得到最优的θ值，输出最优的假设函数h，就可以用来预测了。

logistic回归算法的梯度下降法：

和线性回归没有太大的区别，而偏导数的结果是：

和线性回归也没有太大的区别，就是假设函数h已经物是人非了而已，变成了logistic回归算法。

优化梯度下降算法

除了梯度下降算法以外，还有几个进行过优化的算法，它们不需要定义学习率，而且比梯度下降算法要更加快，缺点的话，就是比梯度下降法要更复杂，这些算法叫：

1. Conjugate gradient（共轭梯度算法）
2. BFGS
3. L-BFGS

这方面的内容吴老师并没有细讲，有兴趣可以自己了解一下在python里如何使用

多元分类：一对多

上面所学的分类都是二元分类，现在我们进行学习的是，多元分类的问题。

多元问题，通常就是y=1,2,…,n个数每个数代表一个分类。

例如诊断病人是可以分成：y=1,没有病痛;y=2,感冒;y=3,流感。

而我们用三种符号来代表三个类别：

对于二元分类，我们会使用一条直线将数据集分为正类和负类。

对于三元分类，我们利用一对多分类思想进行分类。

“一对多”有时也叫做“一对余”

原理

个人理解，一对多其实就是用一条直线进行多次使用达到多元划分的结果。

首先，我们先创建一个新的“伪”训练集，其中类别2类别3设定为负类，类别1设定为正类：

我们需要拟合一个分类器，称其为h_θ^(1)(x)，让三角形的值等于1，圆形的值等于0，接着我们经过上面学到的训练，就能得到一个判定边界：

同样，我们对类别2进行同样的处理，让类别2变成正方形，类别1和类别3变成圆形：

拟合第二个逻辑回归分类器，我们称为h_θ^(2)(x)，然后我们就能得到这样的一个分类器：

同理，拟合第三个逻辑回归分类器，我们称为h_θ^(3)(x)，然后我们就能得到这样的一个分类器：

每一个分类器都是对应类的概率：

得到三个分类器后，我们要做的就是，用我们需要预测分类的参数，代入到每一个分类器中，选择出值最大的分类器，也就是选择在哪的概率最大，预测的y就是那个值了。