衡量监督算法的性能

分类算法

混淆矩阵

混淆矩阵通过比较分类结果与真实值，形象分类模型的准确度

准确率

反映了分类系统对整个样本的判定能力——能将正的判定为正，负的判定为负
$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$
当数据集不平衡时，也就是正样本和负样本的数量存在显著差异时，单独依靠准确率不能评价模型的性能。精度和召回率是衡量不平衡数据集的更好指标。

回归算法

均方误差MSE(Mean Squared Error)

$$MSE=\frac{1}{m}\sum _{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2$$
由于存在量纲问题，所以常常采用均方根误差

均方根误差RMSE(Root Mean Squared Error)

$$RMSE=\sqrt{\frac{1}{m}\sum _{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2}=\sqrt{MSE}$$

平均绝对误差MAE(Mean Absolute Error)

$$MAE=\frac{1}{m}\sum _{i=1}^m|y^{(i)}-{\hat{y}}^{(i)}|$$
为何loss function一把采用平方：

1. 可导
2. 放大较大误差

R Squared

为什么要采用R Squared:
因为已有的MSE，RMSE，MAE的问题在于，无法比较算法在不同场景下的优劣。比如同一个算法即可以预测学生的成绩也可以预测房产，那这个算法是在哪个场景下预测效果更好呢？

$$R^2=1-\frac{S{S}_{residual}}{S}$$
$$R^2=1-\frac{\sum (\hat{y}-y{)}^2}{\sum (\bar{y}-y{)}^2}$$
$$R^2=1-\frac{MSE}{Var}$$

反映出我们的模型没有产生错误的指标
把回归问题的衡量结果也归到0～1之间

R squared的性质:

• 值小于等于1
• 值越大越好
• 当我们的模型等于基准模型时，值为0
• 如果值<0，说明我们学习到的模型还不如基准模型，此时很有可能我们的数据不存在任何线性关系
• 与准确度不同的是，值可以为负