@[机器学习系列之一①问题建模
机器学习系列之一②特征工程
机器学习系列之一③常用模型
机器学习系列之一④模型融合](这里写自定义目录标题)
1、问题建模
通用流程包含4大部分,分别是:问题建模、特征工程、模型选择和模型融合。问题建模主要包含三个部分:评估指标、样本选择和交叉验证
1.1 评估指标
评估指标用于反映模型效果。通常,线下使用机器学习评估指标,线上使用业务指标评估指标根据任务类型分类,可分为分类指标、回归指标、聚类指标和排序指标。
1.1.1 分类指标
- 精确率(P)召回率(R)P-R曲线 (二分类)、F1 、 精确率A、错误率ER(多分类)
- ROC/AUC 正样本排在负样本前面的概率,与排序有关,对排序敏感
- 对数损失(logloss) 衡量真实概率分布与预测概率分布之间的差异,取值越小越好,对预测概率敏感
1)P/R 多用于二分类任务,可根据混淆矩阵进行计算
其中,TP(True Positive)表示真实结果为正例,预测结果也为正例;FP(False Positive)表示真是结果为负例,但是预测结果是正例;TN(True Negative)表示真是结果为正例,预测结果为负例;FP(False Negative)表示真是结果为负例,预测结果也为负例。TP+FP+FN+TN=样本总数
精确率和召回率的定义:
P-R曲线(P为纵轴、R为横轴),PR曲线越靠近右上角越好,曲线下的面积叫AP(平均精确率)分数。
虽然PR曲线可以在一定程度上反映模型性能,但是 计算不方便,因此提出了F1值。F1值是P与R的调和平均值:
精确率和准确率要进行区分,精确率是二分类指标,准确率是多分类指标,
2) ROC/AUC
ROC(接收者操作特征) 纵坐标真正率(TPR),横坐标假正率(FPR),越靠近左上角性能越好。
AUC(Area Under ROC Curve)是ROC曲线下的面积,取值越大说明模型越可能将正