NG——线性回归

单变量线性回归

以房价为例：

• x为输入样本，包含房子的多项信息，如面积，楼层等。此处讨论的为单变量线性回归，则样本中只包含一条信息，假设为面积
• m表示输入样本的数量
• h(x)为假设函数，即用来预测房子的价格的函数。根据输入的样本x，预测出房子的价格。最初的假设函数选择简单的一次函数，为$h(x)={\theta }_0+{\theta }_{1}x$
• y为当前输入的样本x的实际房价
• $x^i$表示第i个样本，这里表示某一房子的面积，$y^i$表示其对应的实际房价，$h(x^i)$为对应的预测的房价

---

${\theta }_0,{\theta }_1$为参数，我们需要找到合适的${\theta }_0,{\theta }_1$，使得我们的预测结果更为准确，换言之就是使$h(x^i)-y^i$的值尽可能的接近0。不难想到，我们需要求出合适的${\theta }_0,{\theta }_1$，使$\frac{1}{2m}{\sum }_1^m(h(x^i)-y^i{)}^2$尽可能小（差的平方和最小）。我们将此称之为代价函数（误差函数），记作J(${\theta }_0,{\theta }_1$)=$$\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2$$在这里，我们要求出${\theta }_0,{\theta }_1$，可以使用梯度下降算法。

---

梯度下降算法：首先给定${\theta }_0,{\theta }_1$初始值，一般都取为0。显然，此时的J(${\theta }_0,{\theta }_1$)未取到最小值。因此，改变${\theta }_0,{\theta }_1$的值，使得J(${\theta }_0,{\theta }_1$)的值不断变化，直到取到最小值或局部最小值。此处，我们直接给出梯度下降算法中θ的更新公式：${\theta }_j={\theta }_j-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_j}$（j=0,1），此处的α称为学习率，这个参数决定了${\theta }_0，{\theta }_1$改变的快慢（这个公式在NG的视频里已经讲得很清楚了，在这边写下来也比较麻烦，就不赘述了）。需要注意的是，${\theta }_0,{\theta }_1$这两个参数在更新时要同步更新，即取临时参数

• temp0=${\theta }_0-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_j}$
• temp1=${\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_j}$
• ${\theta }_0=temp0$
• ${\theta }_1=temp1$

将J(${\theta }_0,{\theta }_1$)=$$\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2$$和$h(x_i)={\theta }_0+{\theta }_1{x}_i$带入上式，求出偏导数，则

• ${\theta }_0={\theta }_0$-α$\frac{1}{m}{\sum }_{i=1}^m({\theta }_0+{\theta }_1{x}_i-y^i)\ast x_0(x_0=1)$
• ${\theta }_1={\theta }_1$-α$\frac{1}{m}{\sum }_{i=1}^m({\theta }_0+{\theta }_1{x}_i-y^i)\ast x_i$

---

---

多元线性回归

类似的，以房价为例：

面积	卧室	楼层	房屋年龄	价格
100	2	8	20	150
120	2	14	30	200
200	3	24	25	400
…	…	…	…	…

• x为输入样本，包含房子的多项信息，如面积，楼层等，此处讨论的为多变量线性回归
• n表示的是x中房子信息的数目，即表示特征量的数目，此处n=4
• m表示输入样本的数量
• h(x)为假设函数，即用来预测房子的价格的函数。根据输入的样本x，预测出房子的价格。此处的假设函数应设为$h(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...+{\theta }_n{x}_n$
• y为当前输入的样本x的实际房价
• $x^{(i)}$表示第i个样本，此处为一个列向量，如$x^{(2)}$=
  $$\left[\begin{array}{c}120\\ 2\\ 14\\ 30\end{array}\right]\text{\hspace{1em}(4)}$$
  $x_j^{(i)}$表示第i个样本的第j个特征值，如$x_3^{(2)}$=14；$y^i$表示其对应的实际房价，$h(x^i)$为对应的预测的房价

---

为了方便表达，对于$h(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...+{\theta }_n{x}_n$，我们可认为还存在$x_0$=1，则$h(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...+{\theta }_n{x}_n$，因此，$x_0^{(i)}$=1，即对于任意样本中，$x_0$都为1。此时，
取X=$$\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ .\\ .\\ .\\ x_n\end{array}\right]\text{\hspace{1em}(4)}$$
取θ=$$\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ .\\ .\\ .\\ {\theta }_n\end{array}\right]\text{\hspace{1em}(4)}$$
则h(x)=${\theta }^{T}X$。

---

类似的，我们可以得出h(x)=${\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+...+{\theta }_n{x}_n$，代价函数J(θ)=$J({\theta }_0,{\theta }_1...{\theta }_n)$=$$\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2$$ θ的更新公式为${\theta }_j={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}={\theta }_j-\alpha$$\frac{1}{m}(h_{\theta }(x^i)-y^i)\ast x_j^{(i)}$（同步更新）。

---

---

特征缩放

在处理不同的、大量的数据时，这些数据的范围可以大不相同。为了使梯度下降的过程更快速并使预测结果尽可能准确，我们可以通过对特征值进行特征缩放（归一化），将特征值都映射到某一小区间内，如[-1，1]。例如：$x_1$的范围是0~1000，则对$x_1$的缩放可以作如下处理：$x_1$=$\frac{x_1-{\mu }_1}{max-min}$（其中${\mu }_1$为样本x的均值，max和min分别为样本的最大值和最小值）。

---

多项式回归

对于实际中的某些数据集，其实直线并不能很好的拟合这些数据。此时，这根据具体情况选择合适的模型，例如二次函数，三次函数等等。常见的处理模型：$h(x)={\theta }_0+{\theta }_{1}x$，$h(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$，$h(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3$，$h(x)={\theta }_0+{\theta }_{1}x+{\theta }_2\sqrt{x}$。在实际应用中，我们需要从合适的角度寻找特征，找到更符合数据的模型。

---

正规方程

在上面讲述的线性回归中，我们需要通过梯度下降，不断迭代，求出θ的值，使得代价函数J(θ)最小。在这里，我们介绍一种更简单的方法来求得θ。
首先，我们需构建一个矩阵X，称之为设计矩阵（包含了样本的所有特征值）。X=$$\left[\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ .\\ .\\ .\\ (x^{(m)}{)}^T\end{array}\right]\text{\hspace{1em}(4)}$$
X为m*(n+1)维矩阵。
另y=$$\left[\begin{array}{c}{y}^0\\ y^1\\ .\\ .\\ .\\ y^n\end{array}\right]\text{\hspace{1em}(4)}$$
举个具体的例子，当前数据集如下表（共有4个输入）

面积	卧室	楼层	房屋年龄	价格
100	2	8	20	150
120	2	14	30	200
200	3	24	25	400
150	2	5	12	300

为每一个样本添加$x_0^{(i)}=1$

$x_0$	面积	卧室	楼层	房屋年龄	价格
1	100	2	8	20	150
1	120	2	14	30	200
1	200	3	24	25	400
1	150	2	5	12	300

则设计矩阵X=$$\left[\begin{array}{c}1，100，2，8，20\\ 1，120，2，14，30\\ 1，200，3，24，25\\ 1，150，2，5，12\end{array}\right]$$
y=$$\left[\begin{array}{c}150\\ 200\\ 400\\ 300\end{array}\right]\text{\hspace{1em}(4)}$$
则θ=$(X^{T}X{)}^{-1}{X}^{T}y$（尚未推导），通过此公式求出的θ可使得代价函数J(θ)最小化。而且，在用正规方程时，无需对数据集进行特征缩放。

---

比较

对于线性回归这一特定模型，我们可以使用梯度下降法或正规方程。下面将对两者有一个简单的比较。

• 梯度下降
  需要尝试不同的学习率α
  需要进行多次迭代
• 正规方程
  当特征值n较大时，计算$(X^{T}X{)}^{-1}$时量级很大。

一般来说，当n<10000时，可选择正规方程；当n>10000时，选择梯度下降法。