在利用机器学习模型解决问题时,涉及到模型构建以及模型评估时,存在两个重要的概念:
损失函数
评估指标
本文对二者做一简要的明晰。
损失函数
机器学习多数算法都需要最大化或最小化一个函数,即“目标函数”。一般把最小化的一类函数称为“损失函数”。
损失函数用于模型构建中(部分简单模型构建不需要损失函数,如KNN),所以它用于指导模型的生成。
回归类型常用损失函数
平均绝对值损失(MAE,L1损失)
平方损失(MSE,L2损失)
Huber损失
分类类型常用损失函数
交叉熵损失
指数损失
评估指标
评估机器学习算法模型,有些问题中损失函数可以直接作为评价指标(如回归问题中,均方误差(MSE)既可以用来指导模型构建,又可以在模型完成后评估模型性能)
评估指标用于模型构建后,所以它用于评价模型性能。
回归类型常用评估指标
平均绝对误差(Mean Absolute Error)
均方误差(Mean Square Error)
根均方误差(Root Mean Square Error)
R Squared
分类类型常用评估指标
混淆矩阵
Accuracy(准确率)
Precision(精准率)
Recall(召回率)
ROC-AUC
P-R曲线
小例子
假设某同学备战高考,他给自己定下了一个奋斗的方向,即每周要把自己的各科总成绩提高5分;经过多年的准备,终于在高