西瓜书第二章

2.1经验误差与过拟合

1.错误率与正确率

错误率E=a/m，精度=1-E=1-a/m

2.错误率为0，精度为100%多数情况并不好

3.过拟合与欠拟合

过拟合：把训练样本所包含的不太一般的特性都学到了

欠拟合：学习能力低下

2.2评估方法

1.测试集T在训练集S中不能集中出现

2.留出法：

（1）训练/测试集的划分尽可能保持数据分布的一致性，避免数据划分过程引入额外的偏差对最终结果产生影响

（2）可以进行抽样检测

（3）采用若干次随即划分，重读进行实验评估侯取平均值作为评估结果

（4）T小，评估结果方差较大；反之也成立。所以一般用2/3~4/5的样本进行训练，剩余样本用于测试

3.交叉验证法：（k折交叉验证）

（1）每次用k-1做训练集，最后一个叫测试集。然后求k次，最后求平均值。

（2）效果取决于k

（3）留一法

4.自助法：

（1）有放回的采取数据。产生D'。

（2）发现D的数据不会被采集到的概率是1/e（0.368）

（3）以D’为训练集，以D\D‘为测试集，包外估计

（4）用于集成学习

5.调参与最终模型

（1）训练数据划分为训练集和验证集

2.3性能度量

2.3.1回归任务最常用的是均方误差

E（f，D'）=

2.3.2 错误率与精度

（1）二分类任务和多分类任务

（2）公式：P29两种表示方式

2.3.3 查准率、查全率与F1

（1）解决的问题是有多少比例，而不是判断是否正确

（2）二分类例子情况

（3）查准率：P=TP/TP+FP

查全率：R=TP/TP+FN

个人理解：查准率是说预测里面真实情况占预测的多少，查全率是说真实情况下正确是多少。

（4）查准率与查全率是矛盾的，一个高另一个就低。

（5）对学习器的预测结果进行排序，前面的就是学习器认为好的，后面的就是学习器认为不好的。

（6）如果一个学习器A的P-R曲线能把另一个曲线B包住，那么A的性能好于B的。若发生交叉，则不确定。

（7）平衡点的判断解决交叉问题。平衡点是指P=R的点，然后越大说明效果越好，P-R效能就越高