lr=0.2
import tensorflow as tf
w = tf.Variable(tf.constant(5,dtype=tf.float32)) #这部分创建了一个 TensorFlow 常量。这个常量的值是 5,数据类型是 32 位浮点数
lr = 0.2
epoch = 40 #循环迭代次数
for epoch in range(epoch):
with tf.GradientTape() as tape: #是 TensorFlow 的上下文管理器,用于记录计算操作以便进行自动微分(自动计算梯度)。
# 在这个上下文管理器中,所有操作都将被记录以供后续计算梯度。
loss = tf.square(w+1) #(w+1)^2
grads=tape.gradient(loss,w) #这个梯度表示了损失函数对于参数 w 的变化率
w.assign_sub(lr*grads) #assign_sub代表对变量做自检:w-=lr*grads
print("After %s epoch,w is %f,loss is %f" % (epoch,w.numpy(),loss))
可找到w最优解,即损失函数最小
lr=0.001,40轮迭代无法找到最优值;
lr=0.99,w值在最优值之间跳动;