回归（regression）的理解（regressor，回归子）

1. 基本概念

回归（regression）是监督学习（given { (xi,yi)}）的一个重要分类。回归用于预测输入变量（自变量，Xi）与输出变量（因变量，Yi） 之间的关系，特定是当输入变量的值发生变化时，输出变量的值随之发生的变化。

回归模型正是表示从输入变量（xi∈Rn）到输出变量（y∈R，也就是一个一维的数值，如果输出也是多维呢？至少不是一个分类任务了）之间映射的函数。回归问题的学习等价于函数拟合，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

• 学习 ⇒ 学习系统（learning phase）⇒ 对象（输入）是训练数据
• 预测 ⇒ 预测系统（predicate phase）⇒ 对象（输入）是测试数据

回归问题分为学习和预测两个过程。首先给定一个训练数据集：

T={ (x1