回顾简单的神经网络
-
输入数据
import keras.datasets as mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() train_images = train_images.reshape((60000, 28*28)) train_images = train_images.astype('float32') / 255 test_images = test_images.reshape((10000, 28*28)) test_images = test_images.astype('float32') / 255 # 输入图像保存在float32格式的Numpy张量中,形状分别为(60000,783)(训练数据)和(10000,784)(测试数据)。
-
构建网络
network = models.Sequential() network.add(layers.Dense(512, activation='relu', input_shape=(28*28,))) network.add(layers.Dense(10, activation='softmax')) # 这个网络包含两个Dense层,每层都对输入数据进行一些简单的张量运算,这些运算都包含权重张量。 # 权重张量是该层的属性,里面保存了网络所学到的知识。
-
网络编译
network.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # categorical_crossentropy 是损失函数,是用于学习权重张量的反馈信号,在训练阶段应该使他最小化。 # 减少损失是由小批量随机梯度下降来实现的。 # 梯度下降的具体方法是由第一个参数给定的,即rmsprop优化器。
-
训练循环
network.fit(train_images, train_labels, epochs=5, batch_size=128) # 网络开始在训练数据上进行迭代(每个小批量包括128个样本),共迭代5次(在所有训练数据上迭代一次叫做一个轮次。 # 在每次迭代过程中,网络会计算批量损失相对于权重的梯度,并相应地更新权重。 # 5论之后,网络进行了2345次梯度更新(每轮469次),网络损失值将变得足够小,使得网络能够以很高的精度对于手写数字进行分类。