CH1:基本术语
-
属性空间、样本空间、输入空间
-
每个实例是d维样本空间一个向量
-
假设样本 “独立同分布” (independent and identically
-
distributed ,简称 i.i.d.).
-
-
“泛化” (generalization) 能力
-
假设空间与版本空间
-
假设空间:把学习过程看作一个在所有假设(hypothesis) 组成的空间中进行
-
版本空间:即存在着一个与训练集一致的"假设集合",我们称之为"版本空间" (version space).
-
假设空间与版本空间区别进一步理解就是:房价预测问题的假设空间为一元一次函数,用算法学习模型就是从一元一次函数空间中学得某个一元一次函数,而这个问题也可能是个多项式回归,所以说可以有多个假设空间,所有能够拟合训练集的模型构成的集合就是版本空间
-
-
归纳偏好
-
不同算法有不同偏好
-
选择上就是基于模型在测试集上的表现来评判模型之间的优劣
CH2:模型评估与选择
-
-
几个术语
-
错误率
- 把分类错误的样本数占样本总数的比例称为"错误率"
-
精度
- 1-错误率
-
误差
-
训练集上的 训练误差/经验误差
-
新样本 泛化误差
-
-
过拟合与欠拟合
-
-
评估
-
留出法
-
就是数据集D划分为两个集合,训练集和测试集
-
注意保持数据分布一致性
-
实际中一般采用多次随即划分取均值
-
-
交叉验证法
-
划分k个,用k-1训练,余下的一组测试,获得k组,k次训练和测试,返回均值
-
k=m,留一法
-
-
自助法
-
在包含m个样本的数据集D中重复执行m次自主采样后,得到了包含m个样本的数据集 D’
-
训练集是D,测试集是D-D’(约1/3样本)
-
-
-
性能度量
-
回归
- 均方误差
-
分类
-
错误率、精度
-
查准率
- 被学习器预测为正例的样例中有多大比例是真正例
-
查全率
- 所有正例当中有多大比例被学习器预测为正例
-
查准率 查全率曲线,简称 P- R线
-
平衡点
- F1
-
-
ROC曲线
- AUC
-
-
查准率与查全率矛盾
-
-
比较检验
- 基于假设检验结果我们可推断出,若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于 B,以及这个结论的把握有多大.
-
偏差与方差
-
期望输出与真实标记的差别称为偏差(bias)
-
使用样本数相同的不同训练集产生方差
-
噪声:在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度
-
-
泛化误差可分解为偏差、方差与噪声之和.