Regression 算法

【定义】

回归模型如下： 

y= f(x) + ε 其中，ε~N(0,σ^2) 

其中，线性回归模型：

y=X*β+ ε 其中，ε~N(0,σ^2*I)

重要的求解除 f(x)，解决的思想是：local average。

有两种解决方法：

（1）x 出发，做假设，f(x) = E(Y|X = x) 。

（2）y 出发，做加权平均 ，f(x) = Σ wi(x) * yi ，其中 wi(x) = K((X-Xi)/n) / Σ（K((X-Xi)/n)） 

  其中第一种方法为linear regression （参数（β）回归）一般最小二乘法解决；第二种方法为kernel regression （非参数回归），不需要显式的train过程。

参数回归限制了回归的形式，拟合效果较差，非参数回归数据本身说话，拟合效果更好。

这里主要介绍参数回归方法。

【参数估计】

Q(β) = arg min| y