斯坦福《机器学习》Lesson1-3感想-------3、线性回归二

从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).

上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。

 

1、普通最小二乘法

利用矩阵的方式，m个训练集（x,y）可以如下表示：

因此,所以

根据 可知，

为使J(θ)最小，通过求导推导可得：

    

从（式1）中可以看出，需要对矩阵求逆，因此只适用于逆矩阵存在的时候。这就是普通最小二乘法。

 

2、局部加权线性回归（LocallyWeighted Linear Regression，LWLR）

   普通最小二乘法的线性回归有可能出现欠拟合的现象，因为它求的是具有最小均值方差的无偏估计。因此我们可以选择局部加权线性回归算法。在这个算法里，我们给待预测点附近的每一个点赋予一定的权重，然后在这个子集上基于最小均值方差来进行普通的回归。与待预测点越近，权值越重，即使用核对附近的点赋予更高的权重。最常用的就是高斯核。高斯核对应的权重如下：

  

在（式2）中，我们唯一需要确定的就是，它是用户指定的参数，决定了对附近的点赋予多大的权重。

因此如（式3）所示，局部加权线性回归是一个无参算法。