学习率如何判断合适的问题，随记

import numpy as np
import matplotlib.pyplot as plt


# x随机进行初始化，正常情况下应该用随机函数，为了简单x1x2设置为2
# alpha是学习率 是带调节的参数这里我们给定为0.02
# iteration是迭代次数 即取值的100个数
# 练习 求y = x1^2+x2^3+2x1+5最小值
x1 = 2
x2 = 2
alpha = 0.02
iterationNum = 100
for _ in range(iterationNum):
    x1 = x1 - alpha * (2 * x1 + 2)
    temp_x2 = x2
    x2 = x2 - temp_x2 ** 2*alpha * 3
print('x1=', x1)
print('x2=', x2)

这里练习求导出来的不能写在循环以外；初始设置的alpha是0.2它提示数据溢出错误，这时候我们就需要调小alpha的值 ；这个temp_x2是不必要的因为溢出问题所以设置了个临时变量我们可以修改代码

x1 = 2
x2 = 2
alpha = 0.02
iterationNum = 100
for _ in range(iterationNum):
    x1 = x1 - alpha * (2 * x1 + 2)
    # temp_x2 = x2 temp_
    x2 = x2 - x2 ** 2*alpha * 3
print('x1=', x1)
print('x2=', x2)

我们可以根据损失率图像查看alpha设置的是否合理，第一个是正常设置的值；第二个可以加大迭代次数；第三个需要降低学习率；第四个是错误的图像显示