【Machine Learning】回归学习与示例

回归学习（Regression Learning），又称为回归分析（Regression Analysis），是一种近似方法，从未知概率分布的随机样本中获得目标函数。

一、基本原理

变量之间的相互关系可以分为确定性和非确定性两大类，前者存在明显的函数关系，如线性函数。后者的变量之间存在关系但不完全确定，在某种随机干扰下产生统计关系们无法获得精确的数学函数关系。对于存在统计关系的变量，通过大量试验获取相关统计数据，并构造目标函数并逼近该关系，即回归学习。

令为s（s是正整数）维欧氏空间，对于随机变量，回归学习研究的是x的函数值对y的依赖性，即寻找一个函数，使得f(x)在极小化预测平方的期望或L2风险的前提下，能够较好的逼近y，函数f(x)称为回归函数。

由于，