机器学习之线性回归算法

常用符号

$m$：表示训练集中样本的数量（样本容量）
$x$：表示输入变量（特征）
$y$：表示输出变量（目标变量）
$(x,y)$：表示训练集中的样本（即整个数据集）
$(x^{(i)},y^{(i)})$：表示第$i$个训练样本（即数据集中第$i个$数据）
$h$：表示函数（表示学习算法的解决方案或函数，即$h$ 是一个从$x$ 到 $y$ 的函数映射）

代价函数

   代价函数：通俗的讲，代价函数就是用来衡量假设函数h的准确性的。代价函数又叫平方误差函数、平方误差代价函数等。模型（函数）所预测的值与训练集中实际值之间的差距就是建模误差（modeling error）

以线性函数为例：
函数（Hypothesis，也叫模型）：$h_{\theta }\left(x\right)={\theta }_0+{\theta }_{1}x$。
参数（Parameters）：${\theta }_0,{\theta }_1$
代价函数（Cost Function）：$J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2$
目标（Goal）：找到使代价函数最小的参数。

我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数 $J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2$最小。
   通俗地讲，$h_{\theta }(x^{(i)})-y^{(i)}$就是第$i$个预测值与训练集中第$i$个实际值之间的误差，当然是误差越小越准确。那么为什么要平方呢？因为$h_{\theta }(x^{(i)})-y^{(i)}$有可能是正数也有可能是负数，例如$h_{\theta }(x^{(i)})-y^{(i)}$有两个值，一个是0.1，另外一个是-0.01，那当然是-0.01的误差更小。那为什么是平方，不是三次方四次方呢？因为没必要！那么为什么要求和然后再乘以$\frac{1}{2m}$呢？因为是求和算平均误差，至于为什么是$\frac{1}{2m}$而不是$\frac{1}{m}$，是因为后面求导的时候可以把2约去。