大家的人工智能——正规方程

在《大家的人工智能——线性回归》中，我们介绍了如何找到一条直线来拟合训练数据，下面把之前的一元线性回归扩展到多元线性回归：
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdot \cdot \cdot +{\theta }_n{x}_n$$

其中θ0对应的是一元线性回归中的那个b，我们再把上面的方程改写一下：
$$y={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdot \cdot \cdot +{\theta }_n{x}_n$$
其中x0=1。因此可以把上面的再改写成矩阵形式：
$$Y={\theta }^{T}X$$
在之前的线性回归中我们说到通过梯度下降的方式，最小化代价函数而找到最优的一组参数最终得到一条直线。聪明的小伙伴很可能会想到，既然是最小化代价函数的值，为什么不用求导的方式得到最佳的θ值呢？

完全是可以的，现在我们看看上面我们改写的那个矩阵形式的公式，我们现在已经知道y和X的值了，做一下简单的求导就能求出θ：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$

这样把训练数据代入就能求出θ从而得到拟合数据的一个模型。那么它和梯度下降有什么不同呢，为什么几乎所有地方都在用梯度下降，而正规方程比较少见呢。我们来看看它们两者之间的特点就明白了：

梯度下降：

• 需要选取学习率α
• 需要很多次迭代来得到最优的θ
• 即使训练数据庞大也有良好的性能

正规方程：

• 不需要选取学习率α
• 不需要迭代
• 需要计算$(X^{T}X{)}^{-1}$，时间复杂度为$O(n^3)$
• 如果训练数据规模庞大，速度会很慢

很明显，正规方程在数据量大的时候性能不够好，而在机器学习、深度学习的任务中，数据有时候会非常庞大，因此将梯度下降作为优化方式。

题外话

现在我们来看看那个正规方程是如何导出来的，首先：
$$\theta =[{\theta }_0,{\theta }_1,\cdot \cdot \cdot ,{\theta }_n{]}^T$$

$$Y=[y^{(1)},y^{(2)},\cdot \cdot \cdot ,y^m{]}^T$$
代价函数：
$$J({\theta }_0,{\theta }_1,\cdot \cdot \cdot ,{\theta }_n)=\frac{1}{2m}(X\theta -Y{)}^T(X\theta -Y)=\frac{1}{2m}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}Y-Y^{T}X\theta +Y^{T}Y)$$
因此要最小化上面代价函数，这里给出两个矩阵的求导公式：
$$\frac{\partial AB}{\partial B}=A^T$$
$$\frac{\partial X^{T}AX}{\partial X}=2AX$$

因此：
$$\frac{\partial J(\theta )}{\partial \theta }=\frac{1}{2m}(2X^{T}X\theta -2X^{T}Y)$$
令其等于零：
$$\frac{1}{2m}(2X^{T}X\theta -2X^{T}Y)=0$$
得到：
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
欢迎爱好人工智能的小伙伴关注公众号：机器工匠，不定时发布一些关于人工智能的技术、资讯文章，更有面向初学者的系列文章。