吃瓜群众【第一章、序论】

第一章 序论

1.1 基本术语

数据集
样本
特征
训练
测试

1.2 假设空间

归纳，演绎

1.3 归纳偏好

奥卡姆剃刀原理

第二章 模型评估与选择

2.1 经验误差与过拟合

精度（accuracy）= 1-错误率
训练误差（经验误差）：学习器在训练集上的误差
泛化误差：在新样本上的误差
过拟合(overfitting)：学习器把训练样本学得"太好"
欠拟合(underfitting)：对训练样本的一般性质尚未学好

2.2 评估方法

以测试集上的 测试误差 (testing error)作为泛化误差的近似

2.2.1 留出法

2.2.2 交叉验证法

2.2.3 自助法

自助法在数据集较小、难以有效划分训练/测试集时很有用；
在初始数据量足够时，留出法和交叉验证法更常用一些。

2.2.4 调参与最终模型

把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参

2.3 性能度量

衡量模型泛化能力的评价标准

2.3.1 错误率与精度

精度 是分类正确的样本数占样本总数的比例

2.3.2 查准率、查全率与F1

2.3.3 ROC 与AUC

AUC (Area Under ROC Curve) ：ROC 曲线下的面积

2.3 .4 代价敏感错误率与代价曲线

2 .4 比较检验

2 .4 .1 假设检验

2 .4 .2 交叉验证t 检验

2.4.3 McNemar 检验

2.4.4 Friedman 检验与N 凹nenyl 后续检验

2.5 偏差与方差

泛化误差可分解为偏差、方差与噪声之和.