tensorflow（三）--可视化学习，线性回归实现，梯度下降，模型保存和加载，自定义命令行参数

#!usr/bin/env python
# -*- coding:utf-8 _*-
"""
@author: Caramel
@file: 4-linear_regression.py
@time: 2020/05/29
@desc:
1.训练参数问题：trainable
2.学习率设置问题：
    梯度爆炸，极端情况下，权重的值变的非常大，以至于溢出，导置NAN值
    解决：调整学习率
          重新设计网络
          使用梯度截断（在训练过程中检查和限制梯度的大小）
          使用激活函数
3.添加权重参数，损失值等在tensorboard观察情况
    收集变量
    合并变量写入事件文件
4.保存模型文件：checkpoint文件
5.定义命令行参数
    首先定义有哪些参数需要在运行时指定
    程序中获取定义的命令行参数

"""
import numpy as np
import tensorflow as tf
import os

tf.app.flags.DEFINE_integer('max_step', 100, '模型训练的步数')
tf.app.flags.DEFINE_string('model_dir', ' ', '模型文件的加载路径')
#定义获取命令行参数名字
flags = tf.app.flags.FLAGS
def mylineaer():
    '''
    自实现一个线性回归问题

    :return:
    '''
    #变量作用域：让代码更加清晰，作用分明
    with tf.variable_scope('data'):
        # 准备数据，x 特征值【100， 1】  y目标值【100】
        x = tf.random_normal([100, 1], mean=0.0, stddev=1.0, name='x_data')
        # 相乘必须是二维的
        y_true = tf.matmul(x, [[0.7]]) + 0.8

    with tf.variable_scope('model'):
        # 2.建立线性回归模型 1个特征，1个权重，一个偏置 y = wx + b
        # 随机初始化一个权重和偏置的值，让他去计算损失，然后在当前状态下优化
        # 用变量定义才能优化
        # trainable参数：指定这个变量能跟着梯度下降一起优化
        weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name='w', trainable=True)
        bias = tf.Variable(0.0, name='b')
        y_pre = tf.matmul(x, weight) + bias

    with tf.variable_scope('loss'):
        # 3.建立损失函数，均方误差
        loss = tf.reduce_mean(tf.square(y_true - y_pre))

    with tf.variable_scope('optimizer'):
        # 梯度下降优化损失,给定学习率
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

    with tf.variable_scope('init'):
        # 定义初始化op
        init_op = tf.global_variables_initializer()

    #1.收集tensor
    tf.summary.scalar('loss_monitor', loss)
    tf.summary.histogram('weight_monitir', weight)
    #2.定义合并tensor的op
    merged = tf.summary.merge_all()
    saver = tf.train.Saver(max_to_keep=1)
    with tf.Session() as sess:
        #初始化变量
        sess.run(init_op)

        #建立事件文件
        grapg_evnt = tf.summary.FileWriter('./tmp/summary/test/', graph=sess.graph)
        #打印随机最先初始化的权重和偏置
        print('随机初始化w和b', weight.eval(), bias.eval())
        # 循环训练  运行优化

        #加载模型，覆盖模型当中随机定义的参数，从上次训练的参数结果开始
        if os.path.exists('./tmp/ckpt/models/'):
            saver.restore((sess, './tmp/ckpt/models/'))
        for i in range(flags.max_step):
            #运行合并的op
            summary = sess.run(merged)
            grapg_evnt.add_summary(summary=summary, global_step=i)
            sess.run(train_op)
            print('第{}次'.format(i))
            print('优化后w和b', weight.eval(), bias.eval())
            if i % 50 == 0:
                saver.save(sess, './tmp/ckpt/models/')
    return None
if __name__ == '__main__':
    mylineaer()