吴恩达学习视频（二）

一、单变量线性回归

1.1 训练集

由训练样例组成的集合就是训练集，如下图所示，其中（x,y）是一个训练样例, （x⁽ⁱ⁾,y⁽ⁱ⁾）是第i个训练样例

1.2假设函数

使用某种学习算法对训练集的数据进行训练, 我们可以得到假设函数(Hypothesis Function), 如下图所示. 在房价的例子中，假设函数就是一个房价关于房子面积的函数。有了这个假设函数之后, 给定一个房子的面积我们就可以预测它的价格了。

为了方便h(x) = a+bx
这个模型就叫做单变量的线性回归

二.代价函数

2.1什么是代价函数

只要我们知道了假设函数, 我们就可以进行预测了. 关键是, 假设函数中有两个未知的量θ0,θ1， 当选择不同的θ0和θ1时, 我们模型的效果肯定是不一样的. 如下图所示, 列举了三种不同的θ0,θ1下的假设函数.

当选择某个${\theta }_0$和${\theta }_1$，使得对于训练样例$（x,y）$,$h_{\theta }(x)$最接近$y$。越是接近，代表这个假设函数越是准确，这里我们选择均方误差作为衡量标准，即想要每个样例的估计值与真实值之间差的平方的均值最小。用公式表达为：
$$miniminz{e}_{\theta 0,\theta 1}\frac{1}{2m}\sum _{i=0}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
这样就得到了我们的代价函数（cost function）,也就是我们的优化目标，我们想要代价函数最小：
$$miniminz{e}_{\theta 0,\theta 1}J(\theta 0,\theta 1)$$

2.代价函数与假设函数

为了方便探究 $h_{\theta }(x)$和$J({\theta }_0,{\theta }_1)$的关系，先是令${\theta }_0$等于0，得到了简化后的假设函数，有假设函数的定义可知此时的假设函数是经过原点的直线，相应的得到了简化的代价函数。

计算梯度

根据定义，梯度就是代价函数对每个θ的编号：
我们将hθ(x⁽ⁱ⁾)=θ0+θ1x⁽ⁱ⁾带入到J(θ0，θ1)中，并且分别对θ0，θ1求导得: