一、前言
本文主要是对另一个博主的博客以及代码进行解读:https://blog.csdn.net/LQ_qing/article/details/99623008
具体的案例就是手写全连接MNIST数据集
具体原理的解读这边就不开展了,可以直接查看上面的网址。
二、代码部分解读
以下代码是原博主的代码,本文仅添加部分注释
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets
import os
# 设置后台打印日志等级 避免后台打印一些无用的信息
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 利用Tensorflow2中的接口加载mnist数据集
(x, y), (x_test, y_test) = datasets.mnist.load_data()
# 对数据进行预处理:返回x,y
def preprocess(x, y):
x = tf.cast(x, dtype=tf.float32) / 255. # 类型转换,归一化处理
y = tf.cast(y, dtype=tf.int32) #
return x,y
# 构建dataset对象,方便对数据的打乱,批处理等超操作
# tf.data.Dataset.from_tensor_slices((x,y)):多个特征对应一个标签,组合成一个tuple
train_db = tf.data.Dataset.from_tensor_slices((x,y)).shuffle(1000).batch(128) # shuffle函数:该函数的作用就是打乱数据顺序
train_db = train_db.map(preprocess) # 对每个批处理(128个数据)归一化处理
test_db = tf.data.Dataset.from_tensor_slices((x_test,y_test)).batch(128) # batch函数:主要是对数据分组:每组128个数据
test_db = test_db.map(preprocess) # 对每个批处理(128个数据)归一化处理
# 构建模型中会用到的权重
w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1)) # stddev:截断前正态分布的标准偏差,默认为1.0
b1 = tf.Variable(tf.zeros([256])) # tf.Variable(initializer,name),参数initializer是初始化参数,name是可自定义的变量名称
w2 = tf.Variable(tf.random.truncated_normal([256, 128], stddev=0.1)) # [256, 128] :shape
b2 = tf.Variable(tf.zeros([128])) # 128个0.
w3 = tf.Variable(tf.random.truncated_normal([128, 10], stddev=0.1)) #详解 https://blog.csdn.net/qq_39894692/article/details/101635922
b3 = tf.Variable(tf.zeros([10]))
# 学习率
lr = 1e-3
# epoch表示整个训练集循环的次数 这里循环100次
for epoch in range(100):
# step表示当前训练到了第几个Batch
for step, (x, y) in enumerate(train_db):
# 把训练集128个数据全部进行打平操作
x = tf.reshape(x, [-1, 28*28])
# 构建模型并计算梯度
with tf.GradientTape() as tape: # tf.Variable
# 三层非线性模型搭建
h1 = x@w1 + tf.broadcast_to(b1, [x.shape[0], 256]) # tf.broadcast_to: 将b1的[256,]由转换成128*256
h1 = tf.nn.relu(h1)
h2 = h1@w2 + b2 # 此部分的b2为什么不适用tf.broadcast_to函数?
h2 = tf.nn.relu(h2)
out = h2@w3 + b3
# 可以看到,由于每个层都要连接:出现了很多的参数,参数个数较多
# 把标签转化成one_hot编码
y_onehot = tf.one_hot(y, depth=10) # 详解:https://blog.csdn.net/fang_chuan/article/details/88559930
# 计算MSE
loss = tf.square(y_onehot - out) #tf.square()是对a里的每一个元素求平方
loss = tf.reduce_mean(loss) # 计算所有元素的均值;
# 计算梯度
grads = tape.gradient(loss, [w1, b1, w2, b2, w3, b3]) # 对loss求导,w1, b1, w2, b2, w3, b3都是偏导
# w = w - lr * w_grad
# 利用上述公式进行权重的更新
w1.assign_sub(lr * grads[0])
b1.assign_sub(lr * grads[1])
w2.assign_sub(lr * grads[2])
b2.assign_sub(lr * grads[3])
w3.assign_sub(lr * grads[4])
b3.assign_sub(lr * grads[5])
# 每训练100个Batch 打印一下当前的loss
if step % 100 == 0:
print(epoch, step, 'loss:', float(loss))
# 每训练完一次数据集 测试一下准确率
total_correct, total_num = 0, 0
for step, (x,y) in enumerate(test_db):
x = tf.reshape(x, [-1, 28*28])
h1 = tf.nn.relu(x@w1 + b1) # tf.nn.relu()函数是将大于0的数保持不变,小于0的数置为0
h2 = tf.nn.relu(h1@w2 + b2)
out = h2@w3 +b3
# 把输出值映射到[0~1]之间
prob = tf.nn.softmax(out, axis=1) # 详解: https://blog.csdn.net/wgj99991111/article/details/83586508
# 获取概率最大值得索引位置
pred = tf.argmax(prob, axis=1) # 详解:https://blog.csdn.net/u012300744/article/details/81240580
pred = tf.cast(pred, dtype=tf.int32)
correct = tf.cast(tf.equal(pred, y), dtype=tf.int32) # 逐个元素进行判断,如果相等就是True,不相等,就是False
correct = tf.reduce_sum(correct)
# 获取每一个batch中的正确率和batch大小
total_correct += int(correct)
total_num += x.shape[0]
# 计算总的正确率
acc = total_correct / total_num
print('test acc:', acc)