在线性回归中,由于最终拟合出来的曲线是一条直线,其拟合能力极为有限(也可以解释为线性回归所求的是具有最小均方误差的无偏估计)一次很容易出现欠拟合的现象,针对这个问题我们提出局部加权线性回归(LWLR)
LWLR的思想:我们对一个输入x进行预测时,赋予x周围点不同的权值,距离x越近,权重越高。整个学习过程中误差将会取决于x周围的误差,而不是整体的误差。
其权值规定为:
权重随距离的衰减程度随tau的值改变而改变,如下图所示tau值越大bandwidth越大,权重随距离的增加衰减的越慢。
在LWLR中损失函数为:
对
θ
\theta
θ求导的:
令导数为0得:
LWLR是一种非参数算法,线性回归是由参数的算法,通过计算得到的θ是固定的,在往后的计算过程中不再保留训练样本进行进一步的预测了,而LWLR是保留整个训练样本,每次预测得到不同的参数θ。
参考文献:https://blog.csdn.net/qq_31589695/article/details/79825189