大数据算法实验二批处理

1、实验目的和要求

1. 输出不使用批处理和使用批处理方法的执行时长

（2）学习使用pickle文件的方法（PPT提供）

（3）精度计算：不使用批处理和使用批处理两种方法

2、实验环境

Python3.9

Pycharm2022

        Window10

# coding: utf-8
import sys, os
import time

sys.path.append(os.pardir)  # 为了导入父目录的文件而进行的设定
import numpy as np
import pickle
from dataset.mnist import load_mnist
from common.functions import sigmoid, softmax
import pickle
res = open('D:\pythondocumentation\dataset\mnist.pkl', 'rb')
pickle.load(res)



def get_data():
    (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
    return x_test, t_test


def init_network():
    with open("sample_weight.pkl", 'rb') as f:
        network = pickle.load(f)
    return network


def predict(network, x):
    w1, w2, w3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']

    a1 = np.dot(x, w1) + b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1, w2) + b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2, w3) + b3
    y = softmax(a3)

    return y

#***************不使用批处理***************
# 获取测试图像和测试标签，x的shape是(10000,784)

x, t = get_data()
# 生成网络
network = init_network()
# 初始精度为0
accuracy_cnt = 0
start1 = time.perf_counter()
# 用for循环语句逐一取出测试图像
for i in range(len(x)):

    # 得到x[i]的预测结果y,x[i]的shape是(784,)
    y = predict(network, x[i])
    # 获取预测结果数组中概率最高的元素的索引
    p = np.argmax(y)
    # 判断预测结果是否和测试标签相同
    if p == t[i]:
        # 相同则正确数+1
        accuracy_cnt += 1

end1 = time.perf_counter()
t1 = end1-start1
print(f'Time used:{t1:.8f}s')
# 精确度=正确数/总数据个数
print("no use batch Accuracy:" + str(float(accuracy_cnt) / len(x)))

#************使用批处理**********

# 前面都一样的
x, t = get_data()

network = init_network()
batch_size = 100  # 批数量
accuracy_cnt = 0
start2 = time.perf_counter()
# range()函数若指定为range(start, end)，则会生成一个由start到end-1之间的整数构成的列表。
# 若像range(start, end, step)这样指定3个整数，则生成的列表中的下一个元素会增加step指定的值。
# 本例中是像x[0:100]、x[100:200]……这样，从头开始以100为单位将数据提取为批数据。
for i in range(0, len(x), batch_size):

    x_batch = x[i:i + batch_size]
    # x_batch的shape是(100,784)
    # y_batch的shape是(100,10)，是神经网络的输出数组
    y_batch = predict(network, x_batch)

    # 通过 argmax()获取值最大的元素的索引。
    # 给定参数axis=1：指定在 100 × 10的数组中，沿着第1维方向找到值最大的元素的索引
    # 第1维是行方向，第0维是列方向
    # 第0维对应第1个维度
    # p是神经网络输出数组中的最大值所组成的数组，它的shape应该是(100,)
    p = np.argmax(y_batch, axis=1)
    # p == t[i:i+batch_size]：
    # 在NumPy数组之间使用比较运算符（==）生成由True/False构成的布尔型数组
    # 并计算数组中True的个数,即比较这一批输出数据有哪些是正确的。
    accuracy_cnt += np.sum(p == t[i:i + batch_size])

end2 = time.perf_counter()
t2 = end2-start2
print(f'Time used:{t2:.8f}s')
print("use batch Accuracy:" ,(accuracy_cnt)/len(x))