2.局部加权线性回归(非参数算法)
在线性回归的基础上，对最小二乘使用权值：
J
(
θ
)
=
1
2
∑
i
=
1
m
w
(
i
)
(
θ
T
x
(
i
)
−
y
(
i
)
)
)
2
J(θ)=\frac{1}{2}\sum^m_{i=1}w^{(i)}(θ^Tx^{(i)}-y^{(i)}))^2
J(θ)=21i=1∑mw(i)(θTx(i)−y(i)))2
添加权值的方法有多种，我们这里选择的权值是：
w
(
i
)
=
e
x
p
(
−
(
x
(
i
)
−
x
)
T
(
x
(
i
)
−
x
)
2
τ
2
)
w^{(i)}=exp\left({-\frac{(x^{(i)}-x)^T(x^{(i)}-x)}{2τ^2}}\right)
w(i)=exp(−2τ2(x(i)−x)T(x(i)−x))
在这种加权情况下，离输入的
x
x
x越远
w
w
w越小，最小趋近于0。离输入的
x
x
x越近
w
w
w越大，趋近于1。那么在输入点
x
x
x附近训练样本将获得更多的权重。参数
τ
τ
τ则可以控制远近距离不同，而导致
w
w
w变化速率。
那么对于每次输入不同的 x x x所控制的权值是不同的，所以每次针对不同的权重 w w w都必须迭代拟合计算 θ θ θ
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
