07梯度下降算法

梯度下降算法

• 推荐看这个视频：【梯度下降】3D可视化讲解通俗易懂

仿真实例

$$f(x)=\sum _{i=1}^n{x}_i^2\left(-20⩽x_i⩽20\right)$$

python代码

• 赋初值，假设x有十个10维度。不然太简单了。
• 这里实现的是从一个x出发寻优，实际上可以有两个方面改进。第一，可以种群化并行寻优。第二，以边学习率的方式迭代寻优。我这里固定学习率。

import numpy as np

def fun(x):
    # 已知目标函数fx = sum(x**2)
    return sum(x**2)
# x初值
x = np.random.randint(0,10,10)
y = fun(x)

• 以硬编码的方式求梯度
• 上面的函数求导数，初中生应该都会。能看得懂。
• a为学习率

#梯度下降,求梯度，当前点向负梯度方向移动
def sgd(x,a):
    new_x = x - a*2*x
    return new_x

• 寻优

a = 0.01
newx = sgd(x,a)  # 下一个x解
newy = fun(newx) # 下一个y值
error = abs(newy - y) # 求绝对误差
y_list = []
x_list = []
x_list.append(newx)
y_list.append(newy)
while error<1e-4:  # 误差太大则持续迭代，并记录每一次的x,y
   y = newy
   newx = sgd(newx,a)
   newy = fun(newx)
   error = newy - y
   print(error)
   x_list.append(newx)
   y_list.append(newy)

• 绘制结果

import matplotlib.pyplot as plt
plt.plot(y_list)
plt.show()

实验结果

输出最优x，y值

• 当然我们知道最优的x肯定是0，不论是多少维。最优的y就是0.

print('最优x解：',x_list[-1])
print('最优y值：',y_list[-1])

• 结果