西瓜书--学习笔记1

西瓜书–学习笔记1

第一章

1.分类和回归是监督学习的代表，而聚类是无监督学习的代表。

2.归纳和演绎是科学推理的两大基本手段。
归纳：从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律；
演绎：从一般到特殊的“特化”过程，即从基础原理推演出具体状况

3.与训练集一致的“假设集合”，称之为“版本空间”。

4.机器学习在大数据时代是必不可少的核心技术:收集、存储、传输、管理大数据的目的，是为了"利用"大数据，如果没有机器学习技术分析数据，则"利用"无从谈起。

第二章

1、过拟合是无法彻底避免的，所能做的只是“缓解”，或者说减小其风险

2.学习器评估方法：
（1）留出法：直接将数据集划分为两个互斥的集合，其中一个集合作为训练集，另一个作为测试集，在训练集训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作
为留出法的评估结果。
（2）交叉验证法：将数据集划分为k个大小相似的互斥子集，每个子集都要尽可能保持数据分布的一致性。每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得k组训练/测试集，进行k次训练和测试。
（3）自助法：给定包含m个样本的数据集D，对它进行采样产生数据集 D’， 每次随机从D中挑选一个样本，将其拷贝放入 D’ ，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到。这个过程重复执行m次后，我们就得到了包含m个样本的数据集 D’ ，这就是自助采样的结果。但是该方法产生的数据集改变了初始数据集的分布，这会引入估计偏差。此方法在数据集较小、难以有效划分训练/测试集时很有用。
（4）调参与最终模型

3.性能度量方法：
（1）错误率与精度
错误率：分类错误的样本数占样本总数的比例
精度：分类正确的样本数占样本总数的比例。
（2）查准率、查全率与F1
查准率：真正例占所有预测正例的比例
查全率：真正率占所有真实正例的比例
查准率与查全率是一对矛盾的度量。一般来说，查准率高时，查全率偏低；而查全率高时，查准率往往偏低。
F1：度量查准率/查全率的不同偏好
（3）ROC与AUC
（4）代价敏感错误率与代价曲线

4.比较检验
（1）假设检验
（2）交叉验证t检验
（3）McNemar 检验
（4）Friedman 检验与 Nemenyi 后续检验

5.偏差与误差：解释学习算法泛化性能的一种重要工具