机器学习之模型评估

模型评估的方式都有哪些：
平均绝对误差
平均绝对误差就是指预测值与真实值之间平均相差多大 ：

平均绝对误差能更好地反映预测值误差的实际情况.

均方误差

观测值与真值偏差的平方和与观测次数的比值：

这也是线性回归中最常用的损失函数，线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。
MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

逻辑回归模型评估准确率、精确率、召回率：
准确率：正确分类的样本个数占总样本个数。
精确率：预测正确的正例数据占预测为正例数据的比例。
召回率：预测正确的正例占所有正例的比例。

例：假设有100个人，70个为真正的小偷，30个人为好人，我们要找出这100个人中的所有小偷，现在我们找出60个人认为他们都为小偷，但其中只有50个人为真正的小偷。
TP：认为这个人是小偷，实际他就是小偷。50
FN：把小偷当作好人（漏网之鱼）。20
FP：把好人当作小偷。10
TN：把好人当作好人。20

准确率：预测正确的 / 所有人
A=(TP+TN)/(TP+FN+FP+TN)=（50+20）/（50+20+10+20）=70%

精确率：预测为真正的小偷 / 预测为小偷
P=TP/(TP+FP) =50/（50+10）≈83.3%

召回率：预测为真正的小偷 / 所有的小偷
R=TP/(TP+FN)=50/（50+20）≈71.4%

F1_score: 用一个F1值来综合评估精确率和召回率。它是召回率的调和均值，当精确率和召回率都高时，F1值也会高。
F = 2PR/(P+R)

混淆矩阵：
１、用于观察模型在各个类别上的表现，可以计算模型对应各个类别的准确率，召回率。
２、通过混淆矩阵可以观察到类别直接哪些不容易区分，比如Ａ类别中有多少被分到了Ｂ类别，这样可以有针对性的设计特征等，使得类别更有区分性。

在sklearn里怎么导入这个包?
平均绝对误差：
from sklearn.metrics import mean_absolute_error
均方误差：
from sklearn.metrics import mean_squared_error
R2：
from sklearn.metrics import r2_score
准确率：
from sklearn.metrics import accuracy_score
精确率：
from sklearn.metrics import precision_score
召回率：
from sklearn.metrics import recall_score
分类报告：
from sklearn.metrics import classification_report
混淆矩阵：
from sklearn.metrics import confusion_matrix
ROC曲线：
from sklearn.metrics import roc_curve
AUC曲线：
from sklearn.metrics import roc_auc_score