吴恩达《机器学习》一元变量的线性回归

　　一元变量的线性回归是指通过单输入变量预测单输出结果，通过学习梯度下降算法改善假设函数。输入变量通过假设函数求得输出值。

　　样本集是指样本的输入和输出值的集合，学习算法这里使用的是梯度下降算法，假设函数是指假设出来的输入和输出之间的关系。x是指已知的输入变量，y是指所求的输出变量。

1假设函数

　　一元线性回归的假设函数的一般形式是$h_θ （x）= θ_0+θ_1 x$，一般情况下，$h_θ （x）$可以简写为$h（x）$。
　　但假设函数的初始化是由样本集猜想而来，并不知道初始化的假设函数是否准确。而且假设函数中参数$θ_0$和$θ_1$的值会影响梯度下降的结果，因为梯度下降算法有可能收敛扎起局部的最小值。而函数局部最小值，而不一定是全局最小值。

2 成本函数

　　成本函数是用来衡量假设函数的准确性的函数。成本函数的值越小，说明假设函数越准确。而我们的目标就是要提高假设函数的精度，故成本函数又称为目标函数。
$J（θ_0，θ_1 ）= 1/2m \sum_1^m(h_θ (x^i)-y^i )^2$
　　其中$h_θ (x^i) 是x^i$根据假设函数计算的预测值，$y^i$是样本的实际值。m是样本的个数，成本函数亦被称之为平均均方误差，除以2是为了方便后面梯度下降算法的计算。

3 梯度下降算法

　　成本函数是来衡量假设函数的准确性，那提高假设函数的准确性则要靠梯度下降算法。改变假设函数，其实是改变$θ_0和θ_1$的值，通过改变$θ$的值，从而使成本函数$J（θ_0，θ_1 ）$最小。所以这里的自变量是$θ_0和θ_1$，因变量是$J（θ_0，θ_1 ）$。
　　实际上这是一个求极小值的过程，实际上若是目标函数是可以求导的情况下，参数较少的情况下，个人觉得是可以通过对每个自变量求偏导数，通过让偏导数为零来求得目标函数最小化时的自变量。
　　但在不可求导或是参数太多以至于求值很困难的情况下，使用梯度下降算法。该算法目的是找出梯度下降的方向，是自变量沿着梯度逐步减小，最终收敛到局部最小值。

repeat until convergence:
$θ_j≔θ_j-α ∂/(∂θ_j ) J(θ_0，θ_1 )$
$θ_j≔θ_j-α 1/m \sum_1^m((h_θ (x^i)-y^i )*x_j^i )$
for j = 0 and j = 1
注意：$θ_0和θ_1$的值是同步改变的

　　$∂/(∂θ_j ) J(θ_0，θ_1)$是自变量的偏导数，即自变量在该点的斜率，α是学习速度，为正。表明以多大的幅度来收敛，若幅度太小，收敛步数增加，若幅度太大有可能越过收敛点导致收敛困难。$α ∂/(∂θ_j ) J(θ_0，θ_1)$即为斜率乘以幅度得出下降的高度，一般情况下α不变，但是偏导数会随着收敛而逐步变小，故下降的高度会随着迭代次数而减小，而这也是该算法的优点之一。