机器学习任务类别&&性能度量

1.何谓“学习”

学习（Mitchell 1997定义）：对某类任务T和性能度量P，一个计算机程序被任务可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。

2.任务T

分类

输入缺失分类

回归

转录：机器学习系统观测一些相对非结构化表示的数据，并转录信息为离散的文本形式。

机器翻译

结构化输出：结构化输出任务的输出是向量或者其他包含多个值的数据结构，并且构成输出的这些不同元素间具有重要关系。

合成和采样：

缺失值填补

去噪

密度估计或概率质量函数估计

3.性能度量

均方误差

错误率

正确率

4.容量、过拟合、欠拟合

泛化：在先前未观测到的输入上表现良好的能力被称为泛化（generalization）。

机器学习和优化不同的地方在于，我们也希望泛化误差（也被称作测试误差）很低。泛化误差被定义为新输入的误差期望。这里，期望的计算基于不同的可能输入，这些输入来自于系统在现实中遇到的分布。

决定机器学习算法效果是否好的因素：

1.降低训练误差。