斯坦福 机器学习Andrew NG 第一讲 Linear regression with one variable

 Linear regression with one variable  单参数线性回归

1.Model representation

引例：一个房屋尺寸与对应定价的数据集，其中记x 为房屋尺寸，y 为房屋售价（x,y）为一个训练数据。另外m为训练数据集训练数据的数量，i为第i个数据集的索引，当做第i个数据的上标，Eg:。

 

训练数据集在坐标轴中表示如下：

 

线性规划问题流程图：

 

But ,how do we represent h ?

2.Cost function

对于单因子线性规划通常令

 

对于不同的，得到的结果是不同的。Eg：

但是，对于一个问题我们要怎么得到合适的呢？

其中：

 

只考虑一个时（假设）对于简化的，当分别为1,0.5,0时：

 

 

 

当时：

 

得到的如下图所示：

 

用等高线表示如下图：

 

3.Gradient descent

如何得到使取得最小值？

 

设定一个初始的，得到一个，然后不断变换，直到得到的的值最小，即为我们要求的结果。诚然根据这种思路，求的方法很多（在不考虑效率的情况下，仅通过循环遍历即可得到使最小的）。但是考虑到算法的时间复杂度，梯度下降算法是一种较快速的算法。

 

 

 

 

其中：

     为学习率

     为梯度

下图为当梯度大于0和小于0时算法的工作情况。

 

应该如何更新？

 

应如何取值？

若太小，则运算速度太慢，收敛需要的时间太长。

若太大，则可能不收敛或发散。

在合适的情况下，即使是一个定值，梯度下降依然可以收敛到一个局部最小值。（因为梯度在逐渐变小）。

 

由上面两张图片可以得到：

 

课程资源

Coursera :https://class.coursera.org/ml-005/lecture

百度云盘：http://pan.baidu.com/s/1skBO