【机器学习笔记】Locally Weighted Regression (Loess)

非参数学习算法

参数数量随着训练集大小增长

Locally Weighted Regression(Loess)

简单来说就是事先不用确定参数数量（模型），
每次预测的时候，用指定的样本点周围的样本点进行临时训练，确定参数；

like this:

1. 选定中心点 $x$ 周围 $n$ 个点 $x^{(i)},...x^{(n)}$
2. 定义 $\theta:[\theta_1,...,\theta_n]$, 训练 $\theta$ 最小化 $\sum_iw^{(i)}(y^{(i)}-\theta^Tx^{(i)})^2$

其中权重 $w^{(i)}$ 一般这样设定：

$$w^{(i)} = e^{-\frac{(x^{(i)}-x)^2}{2\tau^2}}$$

权重的意义在于，离指定样本点近的点，权重更大；离指定样本点远的点，权重更小；

而其中 $\tau$ 为 bandwidth, 越大，权重向中心点两边扩散时下降越快。