Tensorflow之梯度爆炸/梯度消失、变量作用域

tensorflow梯度爆炸/梯度消失

在极端情况下，权重的值变得非常大，以至于溢出，导致NaN值。

如何解决梯度爆炸问题（深度神经网络（如RNN）当中更容易出现）

• 重新设计网络
• 调整学习率
• 使用梯度截断（在调整过程中检查和限制梯度的大小）
• 使用激活函数

tensorflow变量作用域

tf.variable_scope(<scope_name>)创建指定名字的变量作用域

作用：

让模型代码更加清晰，作用分明，并且生成的event图结构更清楚

#! /usr/bin/env python 
# -*- coding:utf-8 -*-

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'   # 设置告警级别


def myregression():
    """
    自实现一个线性回归预测
    数据是随机给出的x和y,x和y的权重和偏置固定，通过梯度下降预测选择最优权重和偏置
    :return: None
    """
    with tf.variable_scope("data"):
        # 1、准备数据   x 特征值[100, 1]  y 目标值[100]
        x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x_data")
        # 矩阵相乘必须是二维的
        y_true = tf.matmul(x, [[0.7]]) + 0.8

    with tf.variable_scope("model"):
        # 2、建立线性回归模型    数据有一个特征，就是一个权重，还有一个偏置 y = x*w + b
        # 随机给一个权重和偏置的值，让它去计算损失，然后在当前状态下优化
        # 用变量定义才能优化     特征值只有一个，所以需要一个权重，如果十多个权重，那么就是[n, 1]
        weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0, name="w"))
        bias = tf.Variable(0.0, name="b")
        y_predict = tf.matmul(x, weight) + bias

    with tf.variable_scope("loss"):
        # 3、建立损失函数，均方误差
        loss = tf.reduce_mean(tf.square(y_true - y_predict))

    with tf.variable_scope("optimizer"):
        # 4、梯度下降优化损失  leaning_rate: 0~1,2,3,5,7,10   学习率：GradientDescentOptimizer  最小化优化损失：minimize
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

    # 定义一个初始化变量的op
    init_op = tf.global_variables_initializer()

    # 通过会话运行程序
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)

        # 打印随机最先初始化的权重和偏置    op是没有结果的，要run或者eval
        print("随机初始化的参数权重为：%f, 偏置为：%f" % (weight.eval(), bias.eval()))

        # 建立事件文件
        filewriter = tf.summary.FileWriter("./summary/test", graph=sess.graph)

        # 循环训练  运行优化
        for i in range(200):
            sess.run(train_op)
            print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i+1, weight.eval(), bias.eval()))


if __name__ == '__main__':
    myregression()