飞桨深度学习第一周实践作业讲解

跟着飞桨学习卷积神经网络，测试一个新的模型准确率

一：作业要求

课程中以1张图片为例，测试了预测效果，请从原始mnist数据集中，随机抽取出100张图片，测试下模型的分类准确率？
【作业内容】
✓代码跑通 请大家根据课上所学内容，补全代码，保证程序跑通。
【评分标准】
✓代码运行成功且有结果（打印100张图片的分类准确率），100分
计算模型分类准确率

二：实现过程

1、定义数据集读取器（参考项目）
2、定义数据生成器（参考项目）
3、定义模型结构

# 定义模型结构
class MNIST(fluid.dygraph.Layer):
     def __init__(self):
         super(MNIST, self).__init__()
         
         # 定义一个卷积层，输出通道20，卷积核大小为5，步长为1，padding为2，使用relu激活函数
         self.conv1 = Conv2D(num_channels=1, num_filters=20, filter_size=5, stride=1, padding=2, act='relu')
         # 定义一个池化层，池化核为2，步长为2，使用最大池化方式
         self.pool1 = Pool2D(pool_size=2, pool_stride=2, pool_type='max')
         # 定义一个卷积层，输出通道20，卷积核大小为5，步长为1，padding为2，使用relu激活函数
         self.conv2 = Conv2D(num_channels=20, num_filters=20, filter_size=5, stride=1, padding=2, act='relu')
         # 定义一个池化层，池化核为2，步长为2，使用最大池化方式
         self.pool2 = Pool2D(pool_size=2, pool_stride=2, pool_type='max')
         # 定义一个全连接层，输出节点数为10 
         self.fc = Linear(input_dim=980, output_dim=10, act='softmax')
    # 定义网络的前向计算过程
     def forward(self, inputs):
         x = self.conv1(inputs)
         x = self.pool1(x)
         x = self.conv2(x)
         x = self.pool2(x)
         x = fluid.layers.reshape(x, [x.shape[0], -1])
         x = self.fc(x)
         return x

4、优化算法设置

#优化算法的设置
with fluid.dygraph.guard():
    model = MNIST()
    model.train()
    #调用加载数据的函数
    train_loader = load_data('train')
    
    #设置不同初始学习率
    optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.01, parameter_list=model.parameters())
    # optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())
    # optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.1, parameter_list=model.parameters())
    
    EPOCH_NUM = 5
    for epoch_id in range(EPOCH_NUM):
        for batch_id, data in enumerate(train_loader()):
            #准备数据，变得更加简洁
            image_data, label_data = data
            image = fluid.dygraph.to_variable(image_data)
            label = fluid.dygraph.to_variable(label_data)
            
            #前向计算的过程
            predict = model(image)
            
            #计算损失，取一个批次样本损失的平均值
            loss = fluid.layers.cross_entropy(predict, label)
            avg_loss = fluid.layers.mean(loss)
            
            #每训练了200批次的数据，打印下当前Loss的情况
            if batch_id % 200 == 0:
                print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))
            
            #后向传播，更新参数的过程
            avg_loss.backward()
            optimizer.minimize(avg_loss)
            model.clear_gradients()

    #保存模型参数
    fluid.save_dygraph(model.state_dict(), 'mnist')

5、运行结果

6、预测100张图片的准确率

# 预测100张图片准确率
with fluid.dygraph.guard():
    print('start evaluation .......')
    datafile = '/home/aistudio/data/data49109/mnist.json.gz'
    print('loading mnist dataset from {} ......'.format(datafile))
    data = json.load(gzip.open(datafile))
    # 读取数据集中的训练集，验证集和测试集
    _, _, eval_set = data
    # 随机抽取100张测试数据（图片）
    num_img = 100
    test_imgs = eval_set[0]
    test_labs = eval_set[1]
    index = list(range(len(test_imgs)))
    random.shuffle(index) # 随机图片排序
    imgs_list = []
    labels_list = []
    # 按照索引读取数据
    for i in range(num_img):
        # 读取图像和标签，转换其尺寸和类型
        img = np.reshape(test_imgs[index[i]], [1, 28, 28]).astype('float32')
        label = np.array(test_labs[index[i]]).astype('int64')
        imgs_list.append(img) 
        labels_list.append(label)
    test_img = np.array(imgs_list)
    test_lab = np.array(labels_list)
    
    print(f"There are {test_img.shape[0]} eval images in total.")
    
    # 加载模型
    model = MNIST()
    model_state_dict, _ = fluid.load_dygraph('mnist')
    model.load_dict(model_state_dict)
    model.eval()
    
    # 预测图片
    test_img = fluid.dygraph.to_variable(test_img) # 转化为paddle数据格式
    results = model(test_img)
    results_num = np.argmax(results.numpy(), axis=1) # 获取概率最大值的标签
    correct_cls = (results_num == test_lab)
    acc = np.sum(correct_cls) / num_img
    
    print(f"{num_img}张测试图片测试的准确率是： {acc*100}%。")

7、预测结果