1.何谓“学习”
学习(Mitchell 1997定义):对某类任务T和性能度量P,一个计算机程序被任务可以从经验E中学习是指,通过经验E改进后,它在任务T上由性能度量P衡量的性能有所提升。
2.任务T
分类
输入缺失分类
回归
转录:机器学习系统观测一些相对非结构化表示的数据,并转录信息为离散的文本形式。
机器翻译
结构化输出:结构化输出任务的输出是向量或者其他包含多个值的数据结构,并且构成输出的这些不同元素间具有重要关系。
合成和采样:
缺失值填补
去噪
密度估计或概率质量函数估计
3.性能度量
均方误差
错误率
正确率
4.容量、过拟合、欠拟合
泛化:在先前未观测到的输入上表现良好的能力被称为泛化(generalization)。
机器学习和优化不同的地方在于,我们也希望泛化误差(也被称作测试误差)很低。泛化误差被定义为新输入的误差期望。这里,期望的计算基于不同的可能输入,这些输入来自于系统在现实中遇到的分布。
决定机器学习算法效果是否好的因素:
1.降低训练误差。