第二个ppt讲的是“单个变量的线性回归”
1) 建立模型
首先看看我们手上有些什么---m组数据,每组数据包括两个部分,X和Y。假设这个模型就是个黑箱子,那么X就是输入的量,Y就是输出的量。我们的目标就是搞清楚这个黑箱子是怎么运作的,下次我们只有输入X的时候,我们也可以自己预测出来输出的Y。电脑是很笨的,它不可能自己去领悟这个黑箱子的原理,我们就需要去教它。和人一样,用例子去教学是最有效的,电脑也需要例子去学习,就是我们所谓的训练组(Training Set),训练组可以是整个m组数据,也可以是m组的一部分(另外的作测试组,即Test Set)。光有素材是不够的,我们还需要告诉电脑怎么去学习这些素材,这就是所谓的算法了。就是如下图的结构:
2) Cost function
直接翻译过来就是代价方程。我们都知道,犯了错误就要付出代价。同理,一般我们的cost function也基本上都是用某种误差来表示的,就是用我们X通过模型h出来后的结果和实际输出结果y的差距。总的来说,cost function就是电脑在探索模型过程中的指导思想,就是要找到使cost function取最小值的模型。形式的话可是是很多种,最简单的|y-h(x)|, 还有最常用的||y-h(x)||等等。ppt里给出一典型例子,如下图:
当然,这就是我们平时说的有参数估计。
3) Gradient descent
接着就讲到一种典型算法了,即Gradient descent(梯度下降法)。具体怎么回事就不用说了,ppt里讲的很详细。值得提到的是,Gradient descent 对一阶线性的最小值求值是相当有效的(注意前提条件:一阶,线性),它总可以找到全局最优解,但是其他很多情况,它很有可能会陷入局部最优解。另外还存在在接近最优解的区域,converge的速度会明显放慢,效率不是很高。作者在ppt最后还提到,Gradient descent 在每次计算都需要用到Training Set里所有的数据,也是一种效率不高的体现。PS:但毕竟简单又容易理解嘛~~