【深度学习笔记（十二）】之tensorflow2实现线性回归以及函数介绍

一． Tensorflow2相关函数介绍

（一） tensorflow2中的自动求导机制

       tf.GradientTape()自动进行求导，在tf.GradientTape()的上下文内，所有的变量和计算步骤都会被记录用于求导。

import tensorflow as tf
x = tf.Variable(initial_value=3.)
with tf.GradientTape() as tape: 
	y = tf.square(x)
	y_grad = tape.gradient(y, x) # 计算y关于x的导数
print([y, y_grad])

       求导用tape.gradient(y, x)进行，求张量y 对变量x的导数。

输出是：

[array([9.], dtype=float32), array([6.], dtype=float32)]

（二） 设置优化器

       线性回归用SGD随机梯度下降进行优化：

optimizer = tf.keras.optimizers.SGD(learning_rate=1e-3)

（三） 自动根据梯度更新参数

       当求解出损失函数关于变量的梯度时，我们可以根据这些梯度进行更新参数，依靠的是优化器。注意：括号内的参数是损失函数对变量求导的梯度和变量的列表。

optimizer.apply_gradients(grads_and_vars=zip(grads, variables))

（四） zip函数

       zip（a, b）将a和b对应的数都合成一个个元组，返回由这些元组组成的列表。
如：

a = [1, 3, 5]  ，  b = [2, 4, 6]  ，那么  zip(a, b) = [(1, 2), (3, 4), …, (5, 6)]

（五） 变量

       线性回归中要不断地更新参数，参数需要用变量来设置。

a = tf.Variable(initial_value=0.)
5. b = tf.Variable(initial_value=0.)

二． tf2实现线性回归

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#随机1000个点，y = 0.1 x + 0.3
num_points = 1000
vector_set = []
for i in range(num_points):
    x1 = np.random.normal(0.0, 0.55)
    y1 = x1 * 0.1 + 0.3 + np.random.normal(0., 0.03)
    vector_set.append([x1, y1])

#生成样本
x_data = [v[0] for v in vector_set]
y_data = [v[1] for v in vector_set]

#画图显示
plt.scatter(x_data, y_data, c='r')
plt.show()

#参数
w = tf.Variable(tf.random.uniform([1], -1.0, 1.0), name='w')
b = tf.Variable(tf.zeros([1], name='b'))
#需要更新的变量
variables = [w, b]

#采用梯度下降法优化参数
#优化器
opt = tf.keras.optimizers.SGD(1e-3)
#迭代次数
num_epoch = 10000
for e in range(num_epoch):
    #使用tf.GradientTape()记录损失函数的梯度信息
    with tf.GradientTape() as tape:
        #预测值
        y = w * x_data + b
        #损失值
        loss = tf.reduce_mean(tf.square(y - y_data), name='loss')
    #自动计算loss 关于更新变量的梯度
    grads = tape.gradient(loss, variables)
    #自动根据梯度更新参数
    opt.apply_gradients(zip(grads, variables))
    if(e % 100 == 0):
        print(variables)

三． 结果校验

       我们设置的1000个随机点分布在直线y =0.1x + 0.3 周围。得出的结果不断迭代，如下所示：

[<tf.Variable 'w:0' shape=(1,) dtype=float32, numpy=array([0.10239088], dtype=float32)>, <tf.Variable 'Variable:0' shape=(1,) dtype=float32, numpy=array([0.29980734], dtype=float32)>]

       可以看到，10000次迭代后，w参数变为了0.10239088， b参数变为了0.29980734，已经非常地接近正确的参数值了。