深度学习——Tensorflow——学习率

lr=0.2

import tensorflow as tf

w = tf.Variable(tf.constant(5,dtype=tf.float32))  #这部分创建了一个 TensorFlow 常量。这个常量的值是 5，数据类型是 32 位浮点数
lr = 0.2
epoch = 40   #循环迭代次数

for epoch in range(epoch):
    with tf.GradientTape() as tape:     #是 TensorFlow 的上下文管理器，用于记录计算操作以便进行自动微分（自动计算梯度）。
                                        # 在这个上下文管理器中，所有操作都将被记录以供后续计算梯度。
        loss = tf.square(w+1)             #(w+1)^2
    grads=tape.gradient(loss,w)           #这个梯度表示了损失函数对于参数 w 的变化率

    w.assign_sub(lr*grads)       #assign_sub代表对变量做自检：w-=lr*grads
    print("After %s epoch,w is %f,loss is %f" % (epoch,w.numpy(),loss))

可找到w最优解,即损失函数最小

lr=0.001,40轮迭代无法找到最优值；

lr=0.99,w值在最优值之间跳动；