回归分析

回归分析法是根据对因变量与一个或多个自变量的统计分析，建立因变量和自变量的关系，最简单的情况就是一元回归分析，一般式为：Y=α+βX式中Y是因变量，X是自变量，α和β是回归系数。
1、最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。



2、岭回归
岭回归是对最小二乘共线性的改进。岭回归PPT
岭回归分析法是从根本上消除复共线性影响的统计方法。岭回归模型通过在相关矩阵中引入一个很小的岭参数K(1>K>0)，并将它加到主对角线元素上，从而降低参数的最小二乘估计中复共线特征向量的影响，减小复共线变量系数最小二乘估计的方法，以保证参数估计更接近真实情况。岭回归分析将所有的变量引入模型中，比逐步回归分析提供更多的信息。
3、SVR回归
支持向量回归（support vector regression）是支持向量机(SVM)的重要的应用分支。SVR简介PPT
SVM酷似三层感知机，它的贡献在于，使得人们在非常高维的空间中构造出好的分类效果。
核技巧是找一个核函数代替在特征空间中的内积计算。找一个非线性映射，将输入数据映射到高维特征空间中，使之分离性状得到很大改观，然后在此特征空间中进行分类，然后再返回原空间，就得到了原空间的非线性分类。常用的核函数有D-阶多项式、径向基函数、tanh函数，核函数的存在性质依赖于如何寻找一个平方收敛的非负序列。
4、高斯回归
http://www.kuqin.com/shuoit/20150508/345958.html
http://www.cnblogs.com/tornadomeet/archive/2013/06/15/3137239.html