学习目标有三个:
-
数据拆分:训练数据集&测试数据集
-
评价分类结果:精准度、混淆矩阵、精准率、召回率、F1 Score、ROC曲线等
-
评价回归结果:MSE、RMSE、MAE、R Squared
1.1 训练数据集&测试数据集
将原始数据中的一部分作为训练数据、另一部分作为测试数据。使用训练数据训练模型,再用测试数据看好坏。即通过测试数据判断模型好坏,然后再不断对模型进行修改。
1.2 分类准确度accuracy
在划分出测试数据集后,我们就可以验证其模型准确率了。在这了引出一个非常简单且常用的概念:accuracy(分类准确度)
accuracy_score:函数计算分类准确率,返回被正确分类的样本比例(default)或者是数量(normalize=False)
在多标签分类问题中,该函数返回子集的准确率,对于一个给定的多标签样本,如果预测得到的标签集合与该样本真正的标签集合严格吻合,则subset accuracy =1.0否则是0.0
因accuracy定义清洗、计算方法简单,因此经常被使用。但是它在某些情况下并不一定是评估模型的最佳工具。精度(查准率)和召回率(查全率)等指标对衡量机器学习的模型性能在某些场合下要比accuracy更好。
1.3 超参数
之前我们都是为knn算法传一个默认的k值。在具体使用时应该传递什么值合适呢?
这就涉及了机器学习领域中的一个重要问题:超参数。所谓超参数,就是在机器学