【机器学习笔记】一元线性回归

1. Model Representation

一元线性回归也称为“单变量的线性回归”。也即根据一个输入变量来预测一个输出结果。由于这里是监督学习，我们已经知道输入输出之间的因果关系。

2. The Hypothesis Function

一元线性回归的假设拟合函数是：。也就是一条直线。

需要对参数进行学习。

3. Cost Function

Cost Function J 通俗讲就是 判断 选取什么样的参数可以使得Hypothesis Function与实际尽可能接近 的衡量方法。 即机器学习三要素中的P。

4. Gradient Descent

梯度下降法，也就是根据Cost Function，让参数沿着CostFunction下降的方向不断迭代，直到得到“最优”的参数（Θ0和θ1）。

注：由于初始参数的选取不同，最终不一定下降到全局最优解。

关于Learning Rate α的选取：

 

左图中，α太小，导致学习速度过慢；α太大，容易过学习。

注：无需逐渐减少α的取值，就可以使下降幅度逐渐减小（因为梯度逐渐减小）

5. Gradient Descent for Linear Regression

回归到一元线性回归上，分别对J(θ0, θ1)做θ0和θ1的求导，即得到一元线性回归的梯度下降函数：