1.为什么要进行模型评估?主要是对模型误差大小的评估
1.1经验误差和泛化误差
1.2过拟合和欠拟合
2.什么是模型评估?
2.1评估方法
将一个数据集分为 trainning set(训练集)、testing set(测试集)、validation set (验证集),其中测试集的分割方法有以下三种
2.1.1留出法
2.1.2交叉验证法
2.1.3自助法
2.1.4验证集
2.2性能度量
2.2.1均方误差
真实值和预测值之间的差距有多大
2.2.2错误率和精度
错误率就是平常认知的错误率,假设为E,则精确度为1-E
2.2.3查准率和查全率
查准率:预测的结果有多少是正确的
查全率:所有真正正确的值中有多少被预测到了
2.3比较检验(判断实质差异)
3.深入理解模型评估
3.1偏差和方差
图中比较清晰的表达了偏差和方差的关系,傻瓜式表达
细品这段话:
3.2过拟合和欠拟合