手写数字图片实例

参考：https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book

手写数字识别流程：
数据集准备：

1. 导入TF库及子库

2. datasets.mnist.load_data() # 加载数据集

3. 转换为张量,缩放到-1~1 x = 2*tf.convert_to_tensor(x, dtype=tf.float32)/255.-1

4. y = tf.convert_to_tensor(y, dtype=tf.int32) # y转换为张量

5. y = tf.one_hot(y, depth=10) # one-hot 编码

6. 构建数据集

7. train_dataset = train_dataset.batch(512) # 批量训练

8. datasets.mnist.load_data() # 加载数据集

(x, y), (x_val, y_val) = datasets.mnist.load_data()
#x,x_val 分别为训练集和测试集；y和 y_val分别为相应的分类标签。

load_data()函数返回两个元组(tuple)对象,第一个是训练集,第二个是测试集。其中训练集X的大小为(60000,28,28),代表了 60000 个样本,每个样本由 28 行、28 列构成；测试集X的大小为(10000,28,28),代表了 10000 个样本,每个样本由 28 行、28 列构成；

通过预处理步骤,我们把[0,255]像素范围归一化(Normalize)到[0,1. ]区间,有利于模型的训练。

x = tf.convert_to_tensor(x, dtype=tf.float32) / 255.

tf.convert_to_tensor()执行后返回一个Tensor

y = tf.convert_to_tensor(y, dtype=tf.int32)
y = tf.one_hot(y, depth=10)

x，y分别是特征和标签，为了简化说明问题，我们假设每两个特征对应一个标签。之后把特征和标签组合成一个tuple。

train_dataset = tf.data.Dataset.from_tensor_slices((x, y))

plt.subplot(3,3,i+1)
plt.imshow(x[i])

plt.ylabel(y[i].numpy())

plt.figure()
for i in range(9):  ####显示9张图像
  plt.subplot(3,3,i+1)  #3行3列，i+1表示从上到下，从左到右排序后的第几个位置。
  plt.imshow(x[i])   显示图像
  plt.ylabel(y[i].numpy())
  plt.show()

网络搭建：使用 TensorFlow 的 Sequential 容器可以非常方便地搭建多层的网络。对于 3 层网络,输出层节点数设计为 10。直接调用这个模型对象 model(x)就可以返回模型最后一层的输出：

model = keras.Sequential([ # 3 个非线性层的嵌套模型
               layers.Dense(256, activation='relu'),
               layers.Dense(128, activation='relu'),
               layers.Dense(10)])

模型训练： 得到模型输出 后,通过 MSE 损失函数计算当前的误差L:

with tf.GradientTape() as tape: # 构建梯度记录环境
# 打平,[b, 28, 28] => [b, 784]
x = tf.reshape(x, (-1, 28*28))
# Step1. 得到模型输出 output
# [b, 784] => [b, 10]
out = model(x)

再利用 TensorFlow 提供的自动求导函数 tape.gradient(loss, model.trainable_variables)求出模型中所有的梯度信息
∂L/∂θ , θ ∈ {W 1 , b 1 , W 2 , b 2 , W 3 , b 3 }:

# Step3. 计算参数的梯度 w1, w2, w3, b1, b2, b3
grads = tape.gradient(loss, model.trainable_variables)

计算获得的梯度结果使用 grads 变量保存。再使用 optimizers 对象自动按着梯度更新法则去更新模型的参数θ。

grads = tape.gradient(loss, model.trainable_variables)
# w' = w - lr * grad,更新网络参数
optimizer.apply_gradients(zip(grads, model.trainable_variables))

循环迭代多次后,就可以利用学好的模型f θ 去预测未知的图片的类别概率分布

注（从 TensorFlow 中加载的 MNIST 数据图片,数值的范围在[0,255]之间。在机器学习中间,一般希望数据的范围在 0 周围小范围内分布。通过预处理步骤,我们把[0,255]像素范围归一化(Normalize)到[0,1. ]区间,再缩放到[−1,1]区间,从而有利于模型的训练）

def train_epoch(epoch):
    # Step4.loop
    for step, (x, y) in enumerate(train_dataset):

        with tf.GradientTape() as tape:
            # [b, 28, 28] => [b, 784]
            x = tf.reshape(x, (-1, 28 * 28))
            # Step1. compute output
            # [b, 784] => [b, 10]
            out = model(x)
            # Step2. compute loss
            loss = tf.reduce_sum(tf.square(out - y)) / x.shape[0]

        # Step3. optimize and update w1, w2, w3, b1, b2, b3
        grads = tape.gradient(loss, model.trainable_variables)
        # w' = w - lr * grad
        optimizer.apply_gradients(zip(grads, model.trainable_variables))

        if step % 100 == 0:
            print(epoch, step, 'loss:', loss.numpy())

 - [ ] List item