【机器学习-周志华】阅读笔记-第一、二章

本人大三，专业为大数据方向，为使自己在阅读过程中对内容理解更为深刻，现将阅读过程记录下来。若有谬误，感谢指正。

第一章-绪论

本章主要讲解了机器学习的基本概念，如分类、回归；聚类等。介绍了机器学习的发展历程以及现状。

机器学习是通过“经验”获得“学习算法”，通过不显示编程，而让计算机获得解决问题的能力。

这里着重理解“机器学习”、“数据挖掘”的联系：数据挖掘是从海量数据中发掘知识，这就涉及对“海量数据”的管理和分析。数据库领域的研究为数据挖掘提供数据管理技术，机器学习和统计学的研究为数据挖掘提供数据分析技术。机器学习和数据库领域是数据挖掘的两大支撑。

第二章-模型评估与选择

重要概念解释：

误差与过拟合，误差是由于学习不充分而导致的在训练集上的“欠拟合”（underfitting），使得模型在判断上错误率较高。而“过拟合”（overfitting）则是由于对训练集了解过于充分，导致判断较为死板，相对于欠拟合较难解决。

评估方法：

1. 留出法 将集合分割为互斥的子集，进行若干次划分，分别进行计算。

2. 交叉验证法 将集合划分为n个。分别将每一个子集作为测试集，计算n次。也称为n折交叉验证示意图。

3. 自助法 将集合随机采样，建立一个新的测试集，而使用原集合进行计算。即留出法和交叉验证法都已集合的一部分作为测试集，而使得训练集有部分损失；而自助法使用全集进行训练，避免了规模不同造成的影响，能比较高效的进行试验估计。（适合数据集较小、难以有效划分训练/测试集的场景）

调参 即参数调整，通过使用适合的参数，能够使模型获得较好的泛化性能

性能度量：

错误率、精度（和为1）

查准率（Precision）在预测样例的正例中，有多少是准确的（真正例）

查全率（Recall）在正例中，有多少被预测正确。

在不同的应用中，对于这两个指标的重视程度不同，在广告推送中，希望更少地打扰用户，更重视查准率；而在逃犯信息检索系统中，不希望漏过任何嫌疑犯，则更重视查全率。

真正例率（Ture Positive Rate）在正例中，有多少被预测正确

假正例率（False Positive Rate）在反例中，有多少被预测为正例（预测错误）

这两个指标能够较全面地反应这分类结果混淆矩阵。

真实情况	预测结果
	正例	反例
正例	TP（真正例）	FN（假反例）
反例	FP（假正例）	TN（真反例）

通过P-R曲线、ROC曲线，我们可以得出一个学习器的性能，通常认为曲线下方面积较大的学习器性能较好。

检验方法较为赘述，不做总结。

 

偏差-方差 可描述算法的泛化性能

泛化误差可分解为偏差、方差与噪声之和。