【Kaggle_ML学习】4.Model validation

【Kaggle_ML学习】4.Model validation

1. What is Model Validation？

每次完成为某事物建立model之后，我们几乎每次都希望对其进行评估，而predictive accuracy就是我们对model质量评估的标准。
在评估model的predictive accuracy时，许多人都会犯的一个大错就是根据training data预测，然后却又用这个预测与training data中的targets value进行比较。（在这篇文章中，我们将会学习解决这个问题的方法，但在此之前，先看看这个错误是怎么做的）

• MAE

对model进行评估时，我们需要将模型质量总结(改写)为一种方便理解的形式，比如当我们比较10,000个房子的预测价格和真实价格时，我们很可能会有一堆好的和坏的的混合预测值，然而列一张10,000行预测值和真实值的列表再进行查看是非常低效且没意义的，所以，我们需要将其写成一个单个的metric(指标/度量标准)
当然，我们有很多种metric来表示model的质量，但本篇文章会以Mean Absolute Error来举例(AKA MAE)
每一个房子的预测误差(prediction error)为：

error = actual - predicted

所以当一栋房子的实际价格为$150,000，而预测价格为$100,000时，error为$50,000

当使用MAE指标时，我们会取每个error的绝对值，然后再取所