西瓜书第二章 模型评估与选择

2.1经验误差与过拟合

第一段：错误率，精度，训练误差，泛化误差。

第二段：目的，是更好的预测——在新样本表现更好的学习器——在训练样本中找寻潜在的普遍规律，这就很可能造成过拟合或者欠拟合。过拟合是避免不了的。

第三段：由于样本的大小和算法学习能力的大小导致的，过拟合是机器学习中的主要障碍，且机器学习中遇到的问题通常是NP难问题

第四段：在众多算法中选择泛化能力最强的方法是，即模型选择的方法是模型评估，选择其中误差最小的。

2.2评估方法

第一段：用测试集的测试误差来近似的替代泛化误差，测试集要与训练集互斥。

第二段：测试集要与训练集互斥。

第三段：将数据集分为训练集和测试集的方法：留出法，交叉验证法和自助法。

留出法：测试集小时，评估结果的方差大，训练集小时，评估结果的偏差大，并且训练集和测试集的划分对结果影响偏大。

交叉验证法：克服了留出法的不同划分对结果的影响。

自助法：是以上两个方法的折中。

2.3性能度量

性能度量就是学习器的预测结果与真实结果的比较。常见的有回归任务的均方误差。

错误率和精度。

查准率，查全率和F1.

查准率：预测为正的中，多少是正确的。

查全率：样本中正的中，多少被查找出来。

F1，两者结合。FB中B大于1查全率影响大，B小于1查准率影响大。

宏查准率，宏查全率，宏F1，微查准率，微查全率，微F1

ROC与AUC

代价敏感错误率与代价曲线，不仅仅考虑错误次数，而要考虑错误之后的代价。也就是总体代价。

2.4比较检验

第一段：有了评估方法和性能度量，不能简单的进行结果比较，因为，1.不同的测试集差别很大  2.目的是泛化性能，测试性能与之还有差距 3.学习算法本身有一定的随机性，相同的参数设置在同意测试集多次运行，结果也不相同。

第二段：统计假设检验为性能比较提供了重要依据。

2.5偏差与方差

偏差：预测输出与真实标记的偏离程度，即刻画的拟合程度。

方差：同样大小的数据集的变化所导致的学习性能的变化，刻画的数据扰动所造成的影响。

噪声：当前任务任何学习算法所能达到的期望泛化误差的下界。