吴恩达课程听课笔记2 代价函数，梯度下降，线性回归的梯度下降

词汇积累

代价函数 (cost function)
梯度下降 (gradient descent)
变量（variable）
收敛（convergence）

学习总结

假设函数（含参 θ0 和 θ1）用来表示拟合数据集的函数，通过求代价函数的最小值确定参数 θ0 和 θ1 的最优解。在解决实际问题中，一个线性函数，从任意位置（ θ0 ，θ1）出发，结合梯度下降算法，得到局部最优解的过程叫做线性回归的梯度下降算法。

课程记录

a.数据集介绍及代价函数的理解 ：

m表示训练集的大小
（x,y）表示训练集
（x(i),y(i)）表示其中一组数据

假设函数：假设可以拟合数据集的函数（我的理解）

下图是假设函数为线性函数时的情形，此时我们的目的变成，得到一个 θ0 和 θ1 的组合，使假设函数值 h(x)能够最大限度的拟合数据集的输出结果 y

利用代价函数通过一些列计算可以得到合适的 θ0 和 θ1，将假设函数带入代价函数，我们的目标现在变成了如何得到这个这个二元（ θ0 和 θ1）二次多项式的最小值

下图是为了便于理解，画出了在假设函数 θ0=0 时，找最合适的 θ1 的情况。可以看到此时的代价函数图像为一元二次函数的图像，此时导数为零的点的 θ1 的值为我们要求的结果

回到两个参数（ θ0 和 θ1）时的情况如下：

下图是求两个参数的代价函数，不断逼近其最小值的过程，右边是其等高线示意图。
我们把实现这一不断逼近代价函数最小值的数学过程，称之为梯度下降

b.梯度下降

下图是梯度下降算法不断更新 θ0 和 θ1 的公式
需要注意的地方有：
1.α是学习率，学习率越大下降的越快
2." := "该符号是赋值符号
3. θ0 和 θ1必须同时更新

下图是梯度下降过程示意图（可以看到起始位置不同，到达了不同的局部最优解）

c.线性回归的梯度下降

一个参数的线性回归的梯度下降

线性回归的梯度下降

下图为公式推导及说明（涉及简单的二元二次方程求偏导）