机器学习导论笔记——绪论

监督学习：给定输入x和输出y，任务是学习从输入到输出的映射。方法是，先假定某个依赖于一组参数的函数，优化参数，使得逼近误差最小。类型包括回归和分类。

非监督学习：只有输入数据，我们的目标是发现输入数据中的规律，输入空间存在着某种结构使得特定的模式比其他模式更易出现，我们对其进行密度估计。聚类是密度估计的一种方法，目标是发现输入数据的蔟和分组。

增强学习：在某些应用中，系统的输出是动作的序列，重要的是策略，即到达目标的正确动作的序列。在这种情况下，机器学习程序就应该能够评估策略的好坏程度，并从以往好的动作序列中学习，以便能够产生策略，这种学习方法称为增强学习。

在统计学中，从特殊的观测到一般的标书称为推断，而学习称为估计，分类被称为判别式分析。在工程学中，分类称为模式识别。