机器学习的任务大概可以分为分类和决策两类。当然,这两类问题并没有严格的界限。许多决策问题本质也是在分类。因为所谓决策,是根据当前的环境(输入),筛选出最优的策略。这个最优的策略可以看做是环境输入的类别。但是,决策问题与传统的分类问题不同。1. 通常分类问题预定的类别是有限个,而决策问题的策略集合可能无限。2. 一个输入的类别通常是确定的(即一个输入对应一个类别),可是在决策问题中,一个环境输入对应的策略可能是非确定的(即博弈论中所谓的混合策略)。
一个传统的分类问题,其本质是构造一个函数,将连续型变量映射成离散型变量。具体定义如下。
假设 D 是实例空间