数据挖掘初学Day02

1.将数据集分为 测试集和训练集。训练集用来产生模型，测试集用来检验模型。

2.混淆矩阵  Confusion Matrix

一共四种情况。红色是预测对的，紫色是预测错误的。

3.ROC曲线

阈值太大或者太小都不好，比如常见的阈值就是0.5，大于0.5的认为是正样本，小于0.5的认为是负样本。如果增大这个阈值，预测错误（针对正样本而言，即指预测是正样本但是预测错误，下同）的概率就会降低但是随之而来的就是预测正确的概率也降低；如果减小这个阈值，那么预测正确的概率会升高但是同时预测错误的概率也会升高。

对角线称为Random Guess。即随机猜测的概率值。

显然，ROC曲线的横纵坐标都在[0,1]之间，自然ROC曲线的面积不大于1。现在我们来分析几个特殊情况，从而更好地掌握ROC曲线的性质：

• (0,0)：假阳率和真阳率都为0，即分类器全部预测成负样本
• (0,1)：假阳率为0，真阳率为1，全部完美预测正确，happy
• (1,0)：假阳率为1，真阳率为0，全部完美预测错误，悲剧
• (1,1)：假阳率和真阳率都为1，即分类器全部预测成正样本
• TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，代表随机分类器的预测效果

于是，我们可以得到基本的结论：ROC曲线在斜对角线以下，则表示该分类器效果差于随机分类器，反之，效果好于随机分类器，当然，我们希望ROC曲线尽量除于斜对角线以上，也就是向左上角（0,1）凸。

AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

• AUC ＝ 1，代表完美分类器
• 0.5 < AUC < 1，优于随机分类器
• 0 < AUC < 0.5，差于随机分类器

4.提升度：用模型后预测成功的概率/不用模型时成功的概率

部分参考文章https://segmentfault.com/a/1190000010410634?utm_source=tag-newest