所谓线性回归(linear regression),就是根据训练数据找到一组参数w,利用 y = w*s 对新数据进行预测。
通常使用误差函数为平方误差:
使该误差最小化,求导令其导数为零求得系数w,利用矩阵可以表示为:
该过程成为普通最小二乘法(ordinary least squares,OLS)
由于OLS只能找到数据最佳拟合直线,所以应用有限。引入局部加权线性回归(Locally Weighted Linear Regression, LWLR)
给每个点赋予权重,误差函数为:,求解w得:
W即使权重矩阵