机器学习一二章学习笔记

第一章

1. 从数据中学得模型的过程称为"学习"或"训练"，这个过程通过执行某个学习算法来完成.训练过程中使用的数据称为"训练数据" ,其中每个样本称为一个"训练样本" , 训练样本组成的集合称为"训练集" . 
2. 若我们欲预测的是离散值，例如"好瓜" "坏瓜"，此类学习任务称为 "分类" ; 若欲预测的是连续值,例如西瓜成熟度 0.95、 0.37，此类学习任务称为"回归" . 
3. 学得模型适用于新样本的能力，称为"泛化" 能力.
4. 机器学习的目标是使学得的模型能很好地适用于"新样本"， 而不是仅仅在训练样本上工作得很好
5. 归纳与演绎是科学推理的两大基本手段

第二章

1.假设在m个样本中有a个样本分类错误，则错误率E=a/m，精度=（1-a/m)×100%。

2.学习器在训练集上的误差称为"训练误差" 或"经验误差" ，在新样本上的误差称为"泛化误差" .

3.过拟合：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。

4.若一个包含m个样例的数据集D={(x1,y1),(x2,y2),...,(xm,ym)},既要训练，又要测试。则可以用留出法、交叉验证法和自助法对D进行适当的处理，从中产生出训练集S和测试集T。

5.性能度量：对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准