Python与机器学习 章节2-单变量线性回归

1. 模型描述
   m：训练集的数样本目，x：输入特征，y：输出变量，（x,y):一个训练样本,（x^(i）,y⁽ⁱ⁾):第i个训练样本，上标i不是指幂函数，而是索引，即表格中第i行。h：假设函数，接收输入的训练集，

线性回归模型

一元线性回归模型公式：
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
2. 代价函数（1）
${\theta }_0,{\theta }_1$:模型参数。如何选择不同的模型参数，使得假设函数表示的直线，尽量与数据点较好地拟合？
（在线性回归中，我们要解决的是一个最小化问题，见下式,我们需要减少预测价格和实际价格的平均误差。）
$$\frac{1}{2m}(\sum _{i=1}^m{h}_{\theta }(x)-y{)}^2$$
注：$\frac{1}{2}$只是用于求导计算方便将$h_{\theta }(x)$的表达式代入上式得$$\frac{1}{2m}(\sum _{i=1}^m({\theta }_0+{\theta }_{1}x-y{)}^2$$故我们只需要关心${\theta }_0，{\theta }_1$的变化。我们想要做的就是关于${\theta }_0和{\theta }_1$，对函数$J({\theta }_0,{\theta }_1)$求最小值，代价函数(Cost Function)见下式，此代价函数是解决回归问题最常用的手段。
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}(\sum _{i=1}^m{h}_{\theta }(x)-y{)}^2$$
3. 代价函数（2）
为了更好地使代价函数J可视化，我要使用一个简化的假设函数，见下式，即${\theta }_0=0$。
$$h_{\theta }(x)={\theta }_{1}x$$
故新的代价函数为：$$J({\theta }_1)=\frac{1}{2m}(\sum _{i=1}^m({\theta }_1{x}^i-y^i{)}^2$$
我们的优化目标是尽量减小$J({\theta }_1)$。