TensorFlow：神经网络

一、张量方式实现

对于多层神经网络，以图示网络结构为例，分别定义各层的权值矩阵W 和偏置向量b 如下：

# 隐藏层1 张量
w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))
# 隐藏层2 张量
w2 = tf.Variable(tf.random.truncated_normal([256, 128], stddev=0.1))
b2 = tf.Variable(tf.zeros([128]))
# 隐藏层3 张量
w3 = tf.Variable(tf.random.truncated_normal([128, 64], stddev=0.1))
b3 = tf.Variable(tf.zeros([64]))
# 输出层张量
w4 = tf.Variable(tf.random.truncated_normal([64, 10], stddev=0.1))
b4 = tf.Variable(tf.zeros([10]))

在计算时，只需要按照网络层的顺序，将上一层的输出送入当前层的输入即可，重复直至
最后一层，将输出层的输出作为网络的输出：

with tf.GradientTape() as tape: # 梯度记录器
	# x: [b, 28*28]
	# 隐藏层1 前向计算，[b, 28*28] => [b, 256]
	h1 = x@w1 + tf.broadcast_to(b1, [x.shape[0], 256])
	h1 = tf.nn.relu(h1)
	# 隐藏层2 前向计算，[b, 256] => [b, 128]
	h2 = h1@w2 + b2
	h2 = tf.nn.relu(h2)
	# 隐藏层3 前向计算，[b, 128] => [b, 64]
	h3 = h2@w3 + b3
	h3 = tf.nn.relu(h3)
	# 输出层前向计算，[b, 64] => [b, 10]
	h4 = h3@w4 + b4

在使用 TensorFlow 自动求导功能计算梯度时，需要将前向计算过程放置 tf.GradientTape()环境中，从而利用GradientTape 对象的gradient()方法自动求解参数的梯度，并利用optimizers 对象更新参数。

二、层方式实现

通过层方式实现起来更加简洁，首先新建各个网络层，并指定各层的激活函数类型：

fc1 = layers.Dense(256, activation=tf.nn.relu) # 隐藏层1
fc2 = layers.Dense(128, activation=tf.nn.relu) # 隐藏层2
fc3 = layers.Dense(64, activation=tf.nn.relu) # 隐藏层3
fc4 = layers.Dense(10, activation=None) # 输出层

在前向计算时，依序通过各个网络层即可：

x = tf.random.normal([4,28*28])
h1 = fc1(x) # 通过隐藏层1 得到输出
h2 = fc2(h1) # 通过隐藏层2 得到输出
h3 = fc3(h2) # 通过隐藏层3 得到输出
h4 = fc4(h3) # 通过输出层得到网络输出

对于这种数据依次向前传播的网络，也可以通过Sequential 容器封装成一个网络大类对
象，调用大类的前向计算函数即可完成所有层的前向计算：

# 通过Sequential 容器封装为一个网络类
model = layers.Sequential([
	layers.Dense(256, activation=tf.nn.relu) , # 创建隐藏层1
	layers.Dense(128, activation=tf.nn.relu) , # 创建隐藏层2
	layers.Dense(64, activation=tf.nn.relu) , # 创建隐藏层3
	layers.Dense(10, activation=None) , # 创建输出层
])
前向计算时只需要调用一次网络大类对象即可完成所有层的按序计算：
out = model(x) # 前向计算得到输出