机器学习笔记-09

分类问题的学习算法

本篇笔记主要是关于当要预测的y是离散型情况下的分类问题

那什么叫y是离散型呢？比如说判断是否为垃圾邮件，结果只有“是”和“否”两个选项；判断肿瘤是良性还是恶性也只有“良性”和“恶性”两个选项，诸如此类即为y是离散型的情况。让y∈{0,1,…,n}，每个数字代表一个类别，比如是在垃圾邮件的例子中，y∈{0,1}，可以让是垃圾邮件用1表示，不是垃圾邮件用0表示，当然也可以反过来，没有具体规定随心而动即可。
y∈{0,1}这种即称为二元分类，其余统称为多元分类问题。

线性回归虽然也可以应用到此类问题中但是通常误差大一些，所以不太使用

1.Logistic Regression
logistic回归算法是一种分类算法，名字中有“回归”是由于历史问题。logistic回归算法是当今使用最广泛最流行的机器学习算法之一，此算法的预测值（输出）一直介于0和1之间。

Sigmoid Function：也就是Logistic Function，可以简写为g(z)，表达式如下：

函数图像类似于arctanx的图像，正无穷无限趋近于1，负无穷无限趋近于0。

g(z)输出实际上就是p(y=1|x;θ)也就是给定x和参数θ时y=1的估计概率。

当g(z)>=0.5时，y=1；g(z)<0.5时，y=0。等于0.5时在哪边都可以，自己规定，这里定为1。

2.决策界限（Decision Boundary）： 相当于一个结界，一侧的所有点的预测y值都是一个值，另一侧的所有点的预测y值都是另一个值。也可以叫决策边界。

确定决策界限的方法：确定${\theta }_0、{\theta }_1、{\theta }_2$后可以直接得出。
如：对于下列假设函数①，如果已经求出${\theta }_0、{\theta }_1、{\theta }_2$的值分别为{-3,1,1}且x>=0时$h_{\theta }(x)=1$，x<0时$h_{\theta }(x)=0$。

那么也就是说，$-3+x_1+x_2>=0$（将{-3,1,1}代入）时$h_{\theta }(x)=1；-3+x_1+x_2<0$时$h_{\theta }(x)=0$。所以可以说$x_1+x_2=3$即为决策界限。

决策界限不一定是线性的
决策边界不是训练集的属性而是假设本身及其参数的属性
决策边界不是用训练集得出的，训练集拟合参数θ后由θ得出决策边界。

3.代价函数
那么如何拟合Logistic Function中的$\theta$呢？

以下是监督学习问题的logistic回归模型中的拟合问题。

logistic算法的代价函数：

单个样本的代价：

y和$h_{\theta }(x)$的区别：y是实际的值$h_{\theta }(x)$是预测值。

将两个式子合起来的代价函数：

根据这个式子，我们要找出让J(θ)取得最小值的参数θ。

4.用梯度下降算法求θ

也就是

特征缩放同样也可以让logistic算法的梯度下降收敛更快。

5.其他优化算法

共轭梯度法（Conjugate Gradient）
BFGS
L-BFGS
以上三个算法感兴趣的可以自己搜搜，特点如下：

1. 不需要选取学习率，他们内置线搜索算法，会自己选择学习率，甚至在每次迭代时选择不同的学习率
2. 比梯度下降算法快
3. 较梯度下降复杂一些

6.多元分类

假如你想将邮件进行分类，打上不同的标签而不止是像上文一样区别垃圾邮件，这就是多元分类。

数据集区别：

左边是二元，右边是三元。
一对多算法（one-versus-rest）：
使用分类器。

创建一个新的伪训练集，将三角形的归为正类，其余为负类，进行Logistic算法拟合。 $h_1$
创建一个新的伪训练集，将正方形的归为正类，其余为负类，进行Logistic算法拟合。 $h_2$
创建一个新的伪训练集，将×的归为正类，其余为负类，进行Logistic算法拟合。 $h_3$
最后训练分类器，选择$h_1、h_2、h_3$中的最大值。