分类问题的数学定义

机器学习的任务大概可以分为分类和决策两类。当然，这两类问题并没有严格的界限。许多决策问题本质也是在分类。因为所谓决策，是根据当前的环境（输入），筛选出最优的策略。这个最优的策略可以看做是环境输入的类别。但是，决策问题与传统的分类问题不同。1. 通常分类问题预定的类别是有限个，而决策问题的策略集合可能无限。2. 一个输入的类别通常是确定的（即一个输入对应一个类别），可是在决策问题中，一个环境输入对应的策略可能是非确定的（即博弈论中所谓的混合策略）。

一个传统的分类问题，其本质是构造一个函数，将连续型变量映射成离散型变量。具体定义如下。

假设$D$是实例空间$\mathcal{X}$上的一个概率分布。$S$是我们从实例空间中抽取出的训练集。训练集$S$中的每个实例都以概率分布$D$从实例空间$\mathcal{X}$中取得。确切的说，训练集$S$被选中的概率满足

Pr{训练集S被选中}=