吴恩达机器学习（第四章）——多变量线性回归_如果把天数和卧室数进行组合，形成一种新的变量房型，取值包括以下五种情况-CSDN博客

本文链接：https://blog.csdn.net/qq_42582489/article/details/99195868

第四章-多变量线性回归

文章目录

第四章-多变量线性回归

多功能

我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，楼层数、卧室数、使用年数等会影响房屋的价格，构成一个含有多个变量的模型，模型中的特征为 $\left( {x_{1}},{x_{2}},{x_{3}}, ... ,{x_{n}} \right)$ 。
多变量房价预测

我们引入一系列新的标记：

$n$ 代表特征的数量
${x^{\left( i \right)}}$ 代表第 $i$ 个训练实例，是特征矩阵中的第 $i$ 行，是一个向量（vector）。比如上图的 ${x}^{(2)}\text{=}\begin{bmatrix} 1416 \\\ 3 \\\ 2 \\\ 40 \end{bmatrix}$
${x}_{j}^{\left( i \right)}$ 代表特征矩阵中第 $i$ 行的第 $j$ 个特征，也就是第 $i$ 个训练实例的第 $j$ 个特征。比如上图的 $x_{2}^{\left( 2 \right)}=3$

单个特征变量的线性回归假设为 $h_\theta \left( x \right)=\theta_{0} + \theta_{1}x$
多个特征变量的线性回归假设为 $h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$ ，公式中有 $n + 1$ 个参数和 $n$ 个变量
为了使得公式能够简化一些，引入 $x_{0}=1$ ，则公式转化为： $h_{\theta} \left( x \right)={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

现在，特征向量 $x$ 是一个从 0开始标记的 $n + 1$ 维的向量， $x=\left[ \begin{matrix} {{x}_{0}} \\ {{x}_{1}} \\ {{x}_{2}} \\ {...} \\ {{x}_{n}} \\\end{matrix} \right]∈R^ { n+1}$ ，
同时把参数 $θ$ 也看做一个向量 $\theta=\left[ \begin{matrix} {{\theta}_{0}} \\ {{\theta}_{1}} \\ {{\theta}_{2}} \\ {...} \\ {{\theta}_{n}} \\\end{matrix} \right]∈R^ { n+1}$
那么假设公式可以写为 $h_{\theta} \left( x \right)={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}={\theta^{T}}X$ ，其中 $x_{0}=1$ ，上标 $T$ 代表矩阵转置。

用多个特征量或变量来预测y，这就是多元线性回归（ Multiple linear regression）

多元梯度下降法

梯度下降算法

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，这个代价函数是所有建模误差的平方和，即： $J\left( {\theta_{0}},{\theta_{1}}...{\theta_{n}} \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{\left( h_{\theta} \left({x}^{\left( i \right)} \right)-{y}^{\left( i \right)} \right)}^{2}}}$ ，其中 $h_{\theta} \left( x \right)={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

多变量线性回归的批量梯度下降算法为：
多变量梯度下降算法

当 $n > = 1$ 时，
${{\theta }_{0}}:={{\theta }_{0}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}})}x_{0}^{(i)}$

${{\theta }_{1}}:={{\theta }_{1}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}})}x_{1}^{(i)}$

${{\theta }_{2}}:={{\theta }_{2}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{({{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}})}x_{2}^{(i)}$

我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

Python 代码：

import numpy as np
    
def computeCost(X, y, theta):
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

特征缩放

在我们面对多维特征问题的时候，如果你能确保这些特征都处在一个相近的范围，这样梯度下降就能更快的收敛，这就是特征缩放（Feature Scaling）

例如有两个特征值：

x1 表示房屋面积的大小，取值在0~2000之间
x2 表示卧室的数量，取值在1~5之间。

以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。
特征缩放

通常，执行特征缩放的目的是将特征的取值约束到-1到+1的范围内。（-1，+1），这个范围可以灵活的选择，只要不是太大或太小是可接受的。

在特征缩放中，有时会进行称为 均值归一化（Mean normalization） 的工作。如果有一个特征 $x_{n}-{\mu}_{n}$ ，用来替换 $x_{n}$ ，让特征值具有为0的平均值。

例如，房屋的面积取值在0~2000之间， ${{x}_{1}}=\frac{{size}-{1000}}{{2000}}$ ；卧室的数量取值在1~5之间， ${{x}_{2}}=\frac{{bedroom}-{2}}{{5}}$ 。其中 $0.5≤x_{1}≤0.5$ ， $0.5≤x_{2}≤0.5$ 。注意这里不能应用于 $x_{0}$ ，因为 $x_{0}$ 永远为 1。

更一般的规律： ${x}_{j}^{\left( i \right)}=\frac{{{x}_{j}^{\left( i \right)}}-{{\mu}_{n}}}{{{s}_{n}}}$ 。其中 ${\mu_{n}}$ 是特征 ${x}_{j}^{\left( i \right)}$ 的平均值 avg( $x_{j}$ ) ； ${s_{n}}$ 是该特征值的范围 max( $x_{j}$ ) - min( $x_{j}$ ) ，也可以把它设置为标准差。

特征缩放不必太精准，它只是为了让梯度下降能够运行的更快一点，让迭代的次数更少一点。

学习率

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
横轴表示的是迭代次数，纵轴表示的是代价函数每次迭代之后的结果。
学习率观测图像

介绍一种自动测试是否收敛的方法，如果代价函数 $J({\theta})$ 一步迭代后的下降小于某个阀值 ε（一般ε ≤ $10^{-3}$ ），这个测试就判断函数已经收敛。

但是通常要选择一个合适的阈值 ε 是非常困难的，所以通过上述的图像判断更加清晰可靠。
自动测试收敛

如果从图像中看到代价函数 $J({\theta})$ 一直在上升或者持续地先下降又上升，这意味着我们要选择更小的学习率 $α$
数学家已经证明，只要选择足够小的学习率 $α$ ，那么每次迭代之后的代价函数 $J({\theta})$ 都会下降。

总结：

如果 α 太小，即学习速率太小，梯度下降法会收敛得很慢
如果 α 太大，梯度下降法每次下降很快，可能会越过最小值，甚至可能无法收敛
通常可以考虑尝试这些学习率： $\alpha=0.01, 0.03, 0.1, 0.3, 1$

特征与多项式回归

房价问题
房价新特征

$h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}\times{frontage}+{\theta_{2}}\times{depth}$

${x_{1}}=frontage$ （临街宽度）， ${x_{2}}=depth$ （纵向深度）， $x = f r o n t a g e * d e p t h = a r e a$ （面积），则： ${h_{\theta}}\left( x \right)={\theta_{0}}+{\theta_{1}}x$ 。

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型： $h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}$
或者三次方模型： $h_{\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}+{\theta_{3}}{x_{3}^3}$
多项式模型

通常我们需要先观察数据然后再决定准备尝试怎样的模型。另外，我们可以令： ${{x}_{2}}=x_{2}^{2},{{x}_{3}}=x_{3}^{3}$ ，从而将模型转化为线性回归模型。

根据函数图形特性，我们还可以使： ${{{h}}_{\theta}}(x)={{\theta }_{0}}\text{+}{{\theta }_{1}}(size)+{{\theta}_{2}}{{(size)}^{2}}$

或者: ${{{h}}_{\theta}}(x)={{\theta }_{0}}\text{+}{{\theta }_{1}}(size)+{{\theta }_{2}}\sqrt{size}$

注意：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

正规方程

正规方程的概念

正规方程提供了一种求θ的解析解法，可以不需要通过迭代一次性求得解，一步得到最优值。

假设对于一个代价函数： $\theta)=a{\theta}^{2} + b{\theta} + c$ ，可以通过求导数的方法得到使 $J(\theta)$ 的最小点 $θ$ 值。

正规方程求最小值的方式则是让代价函数的导数为0，求出θ值。
正规方程的求解方式

假设我们的训练集特征矩阵为 $X$ （包含了 ${{x}_{0}}=1$ ）并且我们的训练集结果为向量 $y$ ，则利用正规方程解出向量 $\theta ={{\left( {X^T}X \right)}^{-1}}{X^{T}}y$ 。
上标T代表矩阵转置，上标-1 代表矩阵的逆。
求解向量
正规方程的 python 实现：

import numpy as np
    
 def normalEqn(X, y):
    
   theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
    
   return theta

公式的推导

$\theta ={{\left( {X^{T}}X \right)}^{-1}}{X^{T}}y$ 的推导过程：

$J\left( \theta \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{\left( {h_{\theta}}\left( {x^{(i)}} \right)-{y^{(i)}} \right)}^{2}}}$
其中： ${h_{\theta}}\left( x \right)={\theta^{T}}X={\theta_{0}}{x_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}}+...+{\theta_{n}}{x_{n}}$

将向量表达形式转为矩阵表达形式，则有 $J(\theta )=\frac{1}{2}{{\left( X\theta -y\right)}^{2}}$ ，其中 $X$ 为 $m$ 行 $n$ 列的矩阵（ $m$ 为样本个数， $n$ 为特征个数）， $\theta$ 为 $n$ 行 1 列的矩阵， $y$ 为 $m$ 行 1 列的矩阵，对 $J(\theta )$ 进行如下变换

$J(\theta )=\frac{1}{2}{{\left( X\theta -y\right)}^{T}}\left( X\theta -y \right)$

$=\frac{1}{2}\left( {{\theta }^{T}}{{X}^{T}}-{{y}^{T}} \right)\left(X\theta -y \right)$

$=\frac{1}{2}\left( {{\theta }^{T}}{{X}^{T}}X\theta -{{\theta}^{T}}{{X}^{T}}y-{{y}^{T}}X\theta -{{y}^{T}}y \right)$

接下来对 $J(\theta )$ 偏导，需要用到以下几个矩阵的求导法则:

$\frac{dAX}{dX}={{A}^{T}}$

$\frac{d{{X}^{T}}A}{dX}=A$

$\frac{d{{X}^{T}}AX}{dX}=2AX$

所以有:

$\frac{\partial J\left( \theta \right)}{\partial \theta }=\frac{1}{2}\left(2{{X}^{T}}X\theta -{{X}^{T}}y -{}({{y}^{T}}X )^{T}-0 \right)$

$=\frac{1}{2}\left(2{{X}^{T}}X\theta -{{X}^{T}}y -{{X}^{T}}y -0 \right)$

$={{X}^{T}}X\theta -{{X}^{T}}y$

令 $\frac{\partial J\left( \theta \right)}{\partial \theta }=0$ ,

则有 $\theta ={{\left( {X^{T}}X \right)}^{-1}}{X^{T}}y$

梯度下降法 VS 正规方程

梯度下降	正规方程
需要选择学习率 $\alpha$	不需要 $\alpha$
需要多次迭代	一次运算即可
当特征数量 $n$ 大时也能较好适用	需要计算 ${{\left( {{X}^{T}}X \right)}^{-1}}$ ，如果特征数量n较大则运算代价大，速度慢
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型