好吃的西瓜-第一章+第二章

第1章 绪论

主要阐述了机器学习的基本概念、基本假设和发展历程。重要的概念如下：

1. 数据集：示例的集合，示例是对事件或者对象的描述。
2. 属性/特征：事件或者对象某方面的对象与性质。
3. 属性空间/样本空间/输入空间：属性张成的空间。
4. 学习/训练：从数据中得到模型的过程，学习的样本称为训练集，学习出的模型称为学习器。
5. 测试：使用模型进行预测的过程，被预测的样本称为测试集。
6. 监督学习：数据有标记信息（如回归，分类）
7. 无监督学习：数据无标记信息（如聚类）
8. 泛化能力：学得模型适用于新样本的能力

第2章 模型评估与选择

机器学习模型在训练集上的误差称为训练误差，在测试集上的误差成为测试误差。机器学习训练的目标是降低训练误差和测试误差，但是鱼和熊掌不可兼得，存在过拟合（overfitting）和欠拟合（underfitting）的情况。常用的机器学习模型评估模型包括留出法、交叉验证法、自助法、调参与最终模型等，留出法和交叉验证法最为常见。

1. 留出法。留出法是将数据集D划分为互斥的集合，训练集和测试集，训练集用户模型学习，测试集用户评估模型误差。通常将三分之一至五分之四的样本用于训练，其余用于测试。
2. 交叉验证法。交叉验证法是将数据集划分为k个互斥子集，每次将k-1个子集作为训练集，余下子集作为测试集。模型进行k次训练和测试，将结果的平均值作为模型学习的结果，成为k折交叉验证（k-fold cross validation）。常用的交叉验证形式包括五折交叉验证和十折交叉验证。

机器学习模型性能评估常用查准率（precision）、查全率（recall）和F1值。对于二分类问题，可以使用真正例（ture positive，TP）、假正例（false positive，FP）、真反例（true negative，TN）、假反例（false negative，FN）来进行计算