线性回归模型和局部加权线性回归模型

线性回归模型

1、基本假设

1. 预测函数h(x)是各个特征的线性组合
   
   转换为向量形式为:
   
2. 成本函数如下：
   
   以下解释为什么成本函数是J(θ)，并且该成本函数是合理的
   假设
   
   其中后面的 ǫ(i)代表误差，并假设其俯冲均值为0，方差为δ^2的正态分布。，那么就有：
   
   ，因为只有误差为随机变量，则有：
   
   因此我们可以得到最大似然函数：
   
   取对数方便计算，并经过推导有：
   
   由最大似然函数，若要maxL(θ)，其等价条件为min J(θ)，即成本函数。

目标及实现目标的迭代算法

1）目标：选择最合适的θ来拟合，从而使得成本函数J(θ)最小化。

2）迭代算法

a. 梯度下降算法（gradient descent）

1.给定一个初始化θ
2.利用下方迭代公式1（LMS即最小均差规则）或迭代公式2（针对所有j）进行迭代


以下为伪代码：

3.不断迭代直至得到稳定的θ（J（θ）为凸函数，必然存在最小值）

b. 一般方程（normal equations）

这个算法提供了一步到位去min成本函数的方法吗，无需经过迭代
1.将成本函数J(θ)写成向量形式，如下

2. 对J(θ)进行求导，即有（此处用到了一系列的LA知识，在此省略）

为求min，另导数为0，可得

此即一般方程，可以一次性求解出最优θ

局部加权线性回归

基本假设

1.假设预测函数h(x)=θ^Tx
2.假设成本函数为以下：

3.假设权重w(i)为以下，其中x代表新的待预测的点

目标及算法原理

局部加权线性回归模型是一个学习型算法，是基于历史训练集来预测未知待预测的点的算法，对于一个新的待预测的点x，距离其较近的训练集数据权重较高，距离其较远的训练集数据权重较低。

个人当前的理解，局部加权线性回归算法是对线性回归模型算法的加强，在应用此算法前需要有一个初始的线性回归模型，之后需要保留训练该初始线性回归模型的训练集，之后遇到新的未知预测点，再用上访算法进行预测。