Linear regression with one variable

第二个ppt讲的是“单个变量的线性回归”

1） 建立模型

首先看看我们手上有些什么---m组数据，每组数据包括两个部分，X和Y。假设这个模型就是个黑箱子，那么X就是输入的量，Y就是输出的量。我们的目标就是搞清楚这个黑箱子是怎么运作的，下次我们只有输入X的时候，我们也可以自己预测出来输出的Y。电脑是很笨的，它不可能自己去领悟这个黑箱子的原理，我们就需要去教它。和人一样，用例子去教学是最有效的，电脑也需要例子去学习，就是我们所谓的训练组（Training Set），训练组可以是整个m组数据，也可以是m组的一部分（另外的作测试组，即Test Set）。光有素材是不够的，我们还需要告诉电脑怎么去学习这些素材，这就是所谓的算法了。就是如下图的结构：

2） Cost function

直接翻译过来就是代价方程。我们都知道，犯了错误就要付出代价。同理，一般我们的cost function也基本上都是用某种误差来表示的，就是用我们X通过模型h出来后的结果和实际输出结果y的差距。总的来说，cost function就是电脑在探索模型过程中的指导思想，就是要找到使cost function取最小值的模型。形式的话可是是很多种，最简单的|y-h(x)|, 还有最常用的||y-h(x)||等等。ppt里给出一典型例子，如下图：

当然，这就是我们平时说的有参数估计。

3） Gradient descent

接着就讲到一种典型算法了，即Gradient descent（梯度下降法）。具体怎么回事就不用说了，ppt里讲的很详细。值得提到的是，Gradient descent 对一阶线性的最小值求值是相当有效的（注意前提条件：一阶，线性），它总可以找到全局最优解，但是其他很多情况，它很有可能会陷入局部最优解。另外还存在在接近最优解的区域，converge的速度会明显放慢，效率不是很高。作者在ppt最后还提到，Gradient descent 在每次计算都需要用到Training Set里所有的数据，也是一种效率不高的体现。PS：但毕竟简单又容易理解嘛~~