梯度下降法和牛顿迭代法的Python实现原理及比较

梯度下降法的原理和概念

偏导数：就是对函数的两个未知数求微分
然后得到的函数
例如一个函数为y=x1²+x2²+2x1x2
d(y)/d(x1)=2x1+2x2
d(y)/d(x2)=2x2+2x1
学习率：
也称为迭代的步长，优化函数的梯度是不断变化的，有时候变化很大，有时候变化很小，所以需要将每次的梯度变化控制在一个合适的范围内。
梯度：
梯度其实就是函数的变化率，在多元函数中，梯度变为了向量，有了变化的方向。
梯度的方向表示的是函数增加最快的方向。
梯度下降法求解，首先就要求得所给定函数的偏导数，即y对x1和x2的微分函数，规定学习率，给定一组初始值，然后计算梯度函数，使用迭代公式更新迭代一次后的函数未知数的值，然后计算出迭代后的梯度函数，将原梯度函数的值与迭代后的梯度函数的值的差值进行判断，判断差值是否收敛，若收敛，就停止算法，否则，就重复之前的迭代。

梯度下降法Python实现求极值

1、首先导入需要的库并设置字符集

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'simHei']