学习吃瓜教程1-2章总结

1、机器学习的概念

机器学习研究的主要内容是：从计算机的数据中不断总结，总结出自己的“经验”（模型），当遇到一个新的样本时，运用这总结的“经验”从而得出相应的结论的过程。

教程中的这个举例非常好：“经验”是f,新样本是x，得到的结论或预测结果是f(x)，让其再与真实值进行比较，判断这个总结的“经验”的好坏。

2、机器学习分类

机器学习大致划分为两大类：“监督学习”：分类和回归； “无监督学习”：聚类

详细一些是：

3、“没有免费的午餐”定理

无论学习算法A多聪明，无论学习算法B多笨拙，他们的期望性能都相同！

定理最重要的寓意是：要谈论算法的相对优劣，必须要针对具体的学习问题，不然毫无意义

4、模型评估和选择

当我们总结出了相应的模型，那么如何去知道这个模型的效果怎么样，这个模型对处理问题的能力如何，就必须进行模型的评估；而且可以总结出多种模型，就要进行模型的选择。

5、几个概念

错误率：错误样本占样本总数的比例

精度：1-错误率

误差：预测值与样本真实值的差异

经验误差（训练误差）：学习器在训练集上的误差

泛化误差：训练好的学习器在新样本上的误差（后续的评估都是用测试误差近似泛化误差）

6、评估方法

留出法：将数据集划分成两个互斥的集合，通常是2/3~4/5用作训练集，剩余用作测试集

交叉验证法：南瓜书中说法很好，本质是进行多次留出法，因为一次留出不够置信

自助法：一个数据集D，包含m个样本，一个空数据集D’，每次随机取出D中的一个样本拷贝到D’，重复m次，得到m个样本数据集D’。（在数据集较小、难以有效划分训练/测试集时很有用；能从初始数据集中产生多个不同的训练集,这对集成学习等方法有很大的好处）

7、性能度量

混淆矩阵：混淆矩阵（Confusion Matrix），也称为错误矩阵，是一种特别适用于监督学习的评估分类模型性能的工具，特别是在分类问题中用来可视化算法性能的表格布局。混淆矩阵以表格形式显示了实际类别与模型预测类别的关系。对于二元分类问题，混淆矩阵是一个2x2的表格，而对于多类别问题，则是一个nxn的表格，其中n是类别的数量。
以下是一个二元分类问题的混淆矩阵的示例：

**TP（真正例，True Positive）**：模型正确预测到的正类。
**FN（假反例，False Negative）**：模型错误预测为负类的正类。
**FP（假正例，False Positive）**：模型错误预测为正类的负类。
**TN（真反例，True Negative）**：模型正确预测到的负类。

准确率：

召回率：

P-R图：

F1度量：或者

ROC曲线：“一般情况 下”泛化性能的好坏.ROC曲线则是从这个角度出发来研究学习器泛化性能的有力工具.

AUC：ROC曲线下方的面积

8、比较检验

当我们有了评估方法和性能度量，后续的就是要进行比较，比较哪个学习器（模型）比较好。

统计假设检验为我们进行学习器性能比较提供了重要依据.

1、假设检验

2、交叉验证t检验