多元线性回归

在将多元线性回归之前先明确几个机器学习中常用的概念。

一、几个级别概念

1.假设函数(Hypothesis)

假设函数：就是预测函数
例如一元线性回归：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

2.损失函数(Lost function)

损失函数：计算的一个样本的误差
例如：$l_{\theta }(x)=h(x^i)-y^i$

3.代价函数(Cost function)

代价函数:是整个训练集上所有样本误差的平均
例如：$J_{\theta }(x)=\frac{1}{2m}{\sum }_{i=1}^m(h(x^i)-y^i{)}^2$

4.目标函数(Object function)

目标函数:代价函数 + 正则化项

二、多元线性回归

1.与一元线性回归的区别

如果是单一特征变量，也就是说一个自变量，就是一元线性回归。
如果是多个特征变量，也就是说多个自变量，就是多元线性回归。
例如：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1$ 只有一个x就是一元的。
$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2....+{\theta }_i{x}_i$ 有多个x就是多元的。

2.假设函数(Hypothesis)

假设函数：就是预测函数
例如一元线性回归：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2....+{\theta }_i{x}_i$

3.损失函数(Lost function)

损失函数：计算的一个样本的误差
例如：$l_{\theta }(x)=h(x^i)-y^i$

4.代价函数(Cost function)

代价函数:是整个训练集上所有样本误差的平均
例如：$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^i)-y^i{)}^2$

三、梯度下降

梯度下降只需要记着两个个公式。
${\theta }_i^{k+1}={\theta }_i^k-\alpha J\prime ({\theta }_j^k)$
$J\prime ({\theta }_j^k)=(h_{\theta }(x^i)-y^i)x_j^i$

推到公式：