在做机器学习进行实验过程中,我们需要使用分类精度、均方误差等方法衡量模型的性能,从而判断训练出的模型的表现是否符合预期要求。本文整理了7种常见的机器学习算法衡量指标:分类精度、对数损失、混淆矩阵、曲线下面积(AUC)、F1分数、平均绝对误差、均方误差。
1. 分类精度
分类精度其实就是我们所说的准确性,是正确预测数占总样本数的比值。
Accuracy=NumberofCorrectpredictionsTotalnumberofpredictionsmade A c c u r a c y = N u m b e r o f C o r r e c t p r e d i c t i o n s T o t a l n u m b e r o f p r e d i c t i o n s m a d e
只有当属于每个类的样本数量相等时才有效。这个不难理解,假如我们的训练集中有90%的A类样本和10%的B类样本,然后我们的模型对A类样本表现的特别好,能准确的分类出A类样本,而不能分类出B类样本,则这个模型就能获得90%的分类精度。这给我们一种错觉,认为我们的模型表现的很好,但当在50%的A类样本和50%的B类样本的测试集中做测试时,测试精度就只有50%了。
2. 对数损失
对数损失适用于多类分类,他是通过惩罚错误分类来工作的,分类器必须为样本分配属于每个类的概率。假如有N个样本属于M类,则对数损失的计算如下:
LogarithmicLoss=−1N∑Ni=1∑Nj