吴恩达机器学习——一元线性回归(1)

1.课程部分
1.1 基本概念
（1）训练集—由训练样例(training example)组成的集合就是训练集(training set)，其中(x，y)是一个训练样例，(x(i)，y(i))是第i个训练样例。
（2）假设函数—用学习算法对训练集数据训练，可以得到假设函数(Hypothesis Function)，单变量线性回归的假设函数为：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$, 为了方便$h_{\theta }(x)$也可记作$h(x)$。
（3）代价函数—指样本实际y值与预测标签之间的误差，表现形式很多，较常用的是平方的形式，$J({\theta }_0,{\theta }_1)=\frac{1}{2}m{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}){)}^2$。在实际算法中就是优化目标, 我们想要代价函数最小。
1.2 梯度下降
（1）梯度下降
梯度下降算法是一种优化算法，它可找到一个函数的局部极小值点。它的思想是, 首先随机选择${\theta }_0,{\theta }_1$初始值，不断地改变它们的值使得$J({\theta }_0,{\theta }_1)$变小, 最终找到$J({\theta }_0,{\theta }_1)$的最小值点。（过程想象成下山坡，如想尽快的下坡，应每次都往坡度最大的方向下山。）
设置初始的，通过梯度下降算法迭代得出结果，迭代过程如下：

其中$\alpha$叫做学习率用来控制下降的幅度，$\alpha$太小会使下降步长太短，收敛缓慢，$\alpha$太大会造成震荡，无法结果收敛甚至发散。根据梯度选择合适的$\alpha$在实际应用中是有必要的。

如上图所示的情况，由于选择的初始值不同可能造成得到的结果不同，得到是局部最优的解。
（2）对于一元线性回归问题中的梯度下降算法
对于一元线性回归问题，$J({\theta }_0,{\theta }_1)$是一个凸函数，得到的解是全局最优。

其中，对${\theta }_0,{\theta }_1$求导为：
$$\frac{\partial (J({\theta }_0,{\theta }_1))}{\partial {\theta }_0}=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$
$$\frac{\partial (J({\theta }_0,{\theta }_1))}{\partial {\theta }_1}=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$$

2.习题
1.
答案： 4
2.
答案：θ0=−569.6, θ1=−530.9
代码实现：

3. Suppose we set θ0=−1, θ1=0.5. What is hθ(4)?
答案： 1
4.
答案：If the learning rate is too small, then gradient descent may take a very long time to converge.
5.
答案： Our training set can be fit perfectly by a straight line, i.e., all of our training examples lie perfectly on some straight line.