【线性回归笔记】局部加权回归

• 【问题】线性回归就是为了预测，我们需要知道大量训练数据并全部加入运算计算出合适的拟合函数，但如果我们的目标是只需要X0一处或几处的值，且计算能力有限无法支持全部数据量的运算，也就是全局线性回归无法实现，那么该怎么办呢？
  
• 【方法】这时我们就需要一种即时处理手段：局部加权回归——是利用未知点附近的一小片已知点进行线性拟合。
  -
  取X0附近一小片点集$((x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)}))$(字母表示一切照旧不再赘述)作为训练集，我们需要寻找$θ$使得下式最小 $$∑_iw^{(i)}(y^{(i)}-θ^Tx^{(i)})^2,w^{(i)}=exp(-\frac{(x^{(i)}-x)}{at^2})$$
  $$if|x^{(i)}-x| so small,w^{(i)}\approx1,if|x^{(i)}-x| so large,w^{(i)}\approx0$$ $w^{(i)}$如下图：
  
  只要$w^{(i)}$符合上述两个特征即可。
  接下来，我们就可以按照线性回归的方法将$θ$计算出来即可。
• 【优缺点】这个方法适用于数据量大却又没有计算能力且需求不高（仅需要X0等几处值）的时候，但每个$x^{(i)}$都需要重新计算参数 θ <script type="math/tex" id="MathJax-Element-9">θ</script>，非常麻烦，因此如果条件允许，还是使用完整地线性回归比较好。