机器学习12：分类 Classification

分类（Classification）是一个有监督的学习过程，目标数据集（示例集）中具有的类别是已知的，分类过程需要做的就是把每一条记录归到对应的类别下。由于必须事先知道各个类别的信息，并且所有待分类的数据条目都默认有对应的类别，因此分类算法也有其局限性，当上述条件无法满足时，我们就需要尝试聚类（后面介绍）分析。

在【机器学习11】中，笔者介绍了逻辑回归（Logistic Regression），它就是一种分类分析，它有正向类和负向类，即：y ∈ {0, 1}，其中 0 代表负向类，1 代表正向类。

当面对一个分类问题：y = 0 或 1，可能出现的情况是： hθ(x) > 1 或 < 0，就无法进行结果的归纳。此时就需要采用逻辑回归，得到的结果可以满足： 0≤ hθ(x) ≤1 。可以说逻辑回归是一种特殊的分类算法，同理，更普遍的分类算法中可能有更多的类别，即：y ∈ {0, 1, 2, 3 ...} 。

目录

1. 阈值 Thresholding

2.混淆矩阵

3.准确性 Accuracy

4.精确度和召回率: Precision and Recall

4.1 精确度

4.2 召回率

4.3 精确度和召回率：一场拉锯战

5.ROC 曲线和 AUC

5.1 ROC曲线

5.2 AUC：ROC 曲线下的面积

6.预测偏差

6.1 分桶和预测偏差

7.参考文献

---

1. 阈值 Thresholding

在【机器学习11】中，我们介绍了逻辑回归。逻辑回归返回一个概率，我们可以 “按原样” 使用返回的概率（例如，用户点击此广告的概率为 0.00