二、模型评估与选择

1.为什么要进行模型评估？主要是对模型误差大小的评估

1.1经验误差和泛化误差

1.2过拟合和欠拟合 

2.什么是模型评估？

2.1评估方法

将一个数据集分为 trainning set(训练集)、testing set（测试集）、validation set （验证集），其中测试集的分割方法有以下三种

2.1.1留出法

2.1.2交叉验证法

2.1.3自助法

2.1.4验证集

2.2性能度量

2.2.1均方误差

真实值和预测值之间的差距有多大

2.2.2错误率和精度

错误率就是平常认知的错误率，假设为E，则精确度为1-E

2.2.3查准率和查全率

查准率：预测的结果有多少是正确的

查全率：所有真正正确的值中有多少被预测到了

2.3比较检验（判断实质差异）

 

3.深入理解模型评估

3.1偏差和方差

图中比较清晰的表达了偏差和方差的关系，傻瓜式表达

细品这段话：

3.2过拟合和欠拟合