数据分析-建模评价

学习内容

1. 模型搭建
2. 模型评估

学习笔记

1、模型搭建
处理后的数据就是建模数据，下一步是选择合适模型。模型选择之前需要知道数据集最终是进行监督学习还是无监督学习。模型的选择一方面是通过我们的任务来决定的，另一方面可以根据数据样本量以及特征的稀疏性来决定，开始尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型。
2、sklearn的算法选择路径

3、模型评估
模型评估是为了知道模型的泛化能力。
交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。在交叉验证中，数据被多次划分，并且需要训练多个模型。
最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
召回率（recall）度量的是正类样本中有多少被预测为正类
f-分数是准确率与召回率的调和平均

4、绘制ROC曲线
RO