梯度下降算法和牛顿算法原理以及使用python用梯度下降和最小二乘算法求回归系数

梯度下降算法
以下内容参考 微信公众号 AI学习与实践平台 SIGAI

导度和梯度的问题

因为我们做的是多元函数的极值求解问题，所以我们直接讨论多元函数。多元函数的梯度定义为：

其中称为梯度算子，它作用于一个多元函数，得到一个向量。下面是计算函数梯度的一个例子

可导函数在某一点处取得极值的必要条件是梯度为0，梯度为0的点称为函数的驻点，这是疑似极值点。需要注意的是，梯度为0只是函数取极值的必要条件而不是充分条件，即梯度为0的点可能不是极值点。

至于是极大值还是极小值，要看二阶导数/Hessian矩阵，Hessian矩阵我们将在后面的文章中介绍，这是由函数的二阶偏导数构成的矩阵。这分为下面几种情况：

如果Hessian矩阵正定，函数有极小值

如果Hessian矩阵负定，函数有极大值

如果Hessian矩阵不定，则需要进一步讨论

这和一元函数的结果类似，Hessian矩阵可以看做是一元函数的二阶导数对多元函数的推广。一元函数的极值判别法为，假设在某点处导数等于0，则：

如果二阶导数大于0，函数有极小值

如果二阶导数小于0，函数有极大值

如果二阶导数等于0，情况不定

精确的求解不太可能，因此只能求近似解，这称为数值计算。工程上实现时通常采用的是迭代法，它从一个初始点 x（0） 开始，反复使用某种规则从x（k） 移动到下一个点x(k+1)，构造这样一个数列，直到收敛到梯度为0的点处。即有下面的极限成立：

这些规则一般会利用一阶导数信息即梯度；或者二阶导数信息即Hessian矩阵。这样迭代法的核心是得到这样的由上一个点确定下一个点的迭代公式：

这个过程就像我们处于山上的某一位置，要到山下去，因此我们必须到达最低点处。此时我们没有全局信息，根本就不知道哪里是地势最低的点，只能想办法往山下走，走 一步看一步。刚开始我们在山上的某一点处，每一步，我们都往地势更低的点走，以期望能走到山底。

最后我们来看一下梯度算法的推导过程。

多元函数f(x) 在x点处的泰勒展开为

这里我们忽略了二次及更高的项。其中，一次项是梯度向量与自变量增量Δx 的内积，这等价于一元函数的f`(x0) Δx 。这样，函数的增量与自变量的增量Δx ,函数梯度的关系可以表示为：

如果 Δx 足够小，在x的某一邻域内，则我们可以忽略二次及以上的项，有：

这里的情况比一元函数复杂多了， Δx 是一个向量,Δx有无穷多种方向，该往哪个方向走呢？如果能保证：

就可以得到

即函数值递减，这就是下山的正确方向。因为有：

因为向量的模一定大于等于0，如果：

就能保证

即选择合适的增量 Δx ，就能保证函数值下降，要达到这一目的，只要保证梯度和 Δx的夹角的余弦值小于等于0就可以了。由于有：

只有当θ=π的时候，cosθ有极小值-1，此时梯度和 Δx反向，即夹角为180度。因此当向量 Δx的模大小一定时，当

即在梯度相反的方向函数值下降的最快。此时有：cosθ= -1

函数的下降值为：

只要梯度不为0，往梯度的反方向走函数值一定是下降的。直接用可能会有问题，因为x+ Δx 可能会超出x的邻域范围之外，此时是不能忽略泰勒展开中的二次及以上的项的，因此步伐不能太大。一般设：

其中α 为一个接近于0的正数，称为步长，由人工设定，用于保证x+ Δx 在x的邻域内，从而可以忽略泰勒展开中二次及更高的项，则有：

从初始点x(0) 开始，使用如下迭代公式：

只要没有到达梯度为0的点，则函数值会沿着序列x(k) 递减，最终会收敛到梯度为0的点，这就是梯度下降法。迭代终止的条件是函数的梯度值为0（实际实现时是接近于0），此时认为已经达到极值点。
牛顿算法的原理

在最优化的问题中，线性最优化至少可以使用单纯行法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。假设任务是优化一个目标函数f，求函数f的极大极小问题，可以转化为求解函数f的导数f’=0的问题，这样求可以把优化问题看成方程求解问题（f’=0）。

为了求解f’=0的根，把f（x）的泰勒展开，展开到2阶形式：

这个式子是成立的，当且仅当 Δx 无线趋近于0。此时上式等价与：

求解：

得出迭代公式：

一般认为牛顿法可以利用到曲线本身的信息，比梯度下降法更容易收敛（迭代更少次数），如下图是一个最小化一个目标方程的例子，红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。

牛顿法原理参考以下链接：
原文链接：https://blog.csdn.net/a819825294/article/details/52172463

下面我们来用梯度下降法来求解下面这个式子的极小值和极小点

首先我们用Excel来计算。
用Excel只需要注意对x1和x2求偏导的计算公式就基本不会出错。

可以看到虽然函数值在4315就达到了极小值，但是x1和x2的值还是在微小变化，这时候我们一定要求到x1和x2的值不再变化。这样才是收敛。

到这里才几乎没有变化了。

然后我们用python代码来实现梯度下降

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
import math
from mpl_toolkits.mplot3d import Axes3D
import warnings

# 二维原始图像
def f2(x1, x2):
    return x1**2 + 2*x2**2 - 4*x1 - 2*x1*x2 
## 偏函数
def hx1(x1, x2)