tensorflow线性回归小例子（包含梯度裁剪和学习率衰减）

最新推荐文章于 2024-07-10 11:08:59 发布

晴天stick

最新推荐文章于 2024-07-10 11:08:59 发布

阅读量214

点赞数

分类专栏：深度学习文章标签： tensorflow 梯度裁剪学习率衰减

本文链接：https://blog.csdn.net/qq_42805483/article/details/98081515

版权

深度学习专栏收录该内容

16 篇文章 0 订阅

订阅专栏

本文通过一个简单的线性回归模型，详细介绍了如何在TensorFlow中实现梯度裁剪和学习率衰减。通过这两个技术，可以优化训练过程，防止梯度爆炸和过早收敛，从而提高模型的泛化能力。

摘要由CSDN通过智能技术生成

import tensorflow as tf
import numpy as np
# 产生随机数
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
# 初始化Weight和bias
Weight = tf.Variable(tf.random_uniform([1], -1.0, 1.0))
bias = tf.Variable(tf.zeros([1], dtype=tf.float32))
# 线性模型
y = Weight * x_data + bias
# loss函数
loss = tf.reduce_mean(tf.square(y_data - y))
# 最小化代价函数
global_steps = tf.Variable(0)  # 用于统计全局步长，常用于学习率衰减等
# 学习率
learning_rate = tf.train.exponential_decay(1.1, global_steps, 10, 0.5, staircase=False)
# 优化器
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)
# # 最小化loss
# train_op = optimizer.minimize(loss, global_steps)
# 等价
grads_vars = optimizer.compute_gradients(loss)  # 产生(gradients, Variance)列表
# 梯度裁剪
for i, (g, v) in enumerate(grads_vars):
    if g is not None:
        grads_vars[i] = (tf.clip_by_norm(g, 5), v)  # 阈值这里设为5

train_op = optimizer.apply_gradients(grads_vars, global_steps)  # 更新Variance
# 初始化变量
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for i in range(1000):
        [losses, gradients] = sess.run([loss, train_op])
        if i % 20 == 0:
            print(sess.run(learning_rate))
            print(i, sess.run([Weight, bias]))