一.数据集的导入
1.MNIST数据集介绍
MNIST数据集是由0 到9 的数字图像构成。训练图像有6 万张,测试图像有1 万张,这些图像可以用于学习和推理。MNIST数据集的一般使用方法是,先用训练图像进行学习,再用学习到的模型度量能在多大程度上对测试图像进行正确的分类。 MNIST的图像数据是28 像素 × 28 像素的灰度图像(1 通道),各个像素的取值在0 到255 之间。每个图像数据都相应地标有“7”、“2”、“1”等标签。load_mnist函数以“( 训练图像, 训练标签),( 测试图像,测试标签)”的形式返回读入的MNIST数据。
1.1MNIST数据集的参数设置
1.1.1normalize
normalize:是否将图像正规化为0.0-1.0的值,如果设置为False,z=则图像输入保持0~255,这是像素的取值。
(x_train, t_train),(x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
print(x_test)
[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=False, flatten=True, one_hot_label=False)
print(x_test)
[[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
...
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]]
1.1.2flatten
faltten:是否将输入图像展开为一维数组,否则图像为1x28x28,展开后为784。
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
print(x_test)
[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=False, one_hot_label=False)
print(x_test)
[[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]
[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]
[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]
...
[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]
[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]
[[[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]]]
1.1.3one_hot_label
one_hot_label:是否将标签保存为one_hot,指的是如原本图像的标签为[1,2,3,4,5],one_hot之后只有1和0,经过计算后,最符合的标签为1,如识别出这个图像的数字是2,则one_hot表现为[0,1,0,0,0]这种模式。
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
print(t_test)
[7 2 1 ... 4 5 6]
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=True)
print(t_test)
[[0. 0. 0. ... 1. 0. 0.]
[0. 0. 1. ... 0. 0. 0.]
[0. 1. 0. ... 0. 0. 0.]
...
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]
[0. 0. 0. ... 0. 0. 0.]]
2.导入MNIST数据集
def get_data():
"""
读取数据
:return:
"""
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
""" normalize:是否将图像正规化为0.0-1.0的值,如果设置为False,z=则图像输入保持0~255,这是像素的取值。
faltten:是否将输入图像展开为一维数组,否则图像为1x28x28,展开后为784。
one_hot_label:是否将标签保存为one_hot,如原本图像的标签为[1,2,3,4,5],one_hot之后只有1和0,
如识别出这个图像的数字是2,则one_hot表现为[0,1,0,0,0]这种模式。
"""
return x_test, t_test
二.神经网络的搭建
1.激活函数
1.1sigmoid激活函数
1.2softmax激活函数
1.3激活函数代码
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def softmax(x):
x = x - np.max(x) # 溢出对策
return np.exp(x) / np.sum(np.exp(x))
2.模型参数
这里使用了pickle功能,此功能可以将程序运行中的对象保存为文件,第二次加载时可以快速复原此程序运行中的对象。sample_weight是训练好的权重与偏置参数。
#训练好的参数
def init_network():
with open("sample_weight.pkl", 'rb') as f:
network = pickle.load(f)#load()从字符串中恢复对象。sample_weight.pkl是以字典形式储存的训练好的样本权重
return network
3.构建模型
神经网络的输入层有784 个神经元,输出层有10 个神经元。输入层的784 这个数字来源于图像大小的28 × 28 = 784,输出层的10 这个数字来源于10 类别分类(数字0 到9,共10 类别)。此外,这个神经网络有2 个隐藏层,第1 个隐藏层有50 个神经元,第2 个隐藏层有100 个神经元。这个50 和100 可以设置为任何值。
def predict(network, x):
w1, w2, w3 = network['W1'], network['W2'], network['W3']
b1, b2, b3 = network['b1'], network['b2'], network['b3']
"""
输入层784个神经元
第二层隐藏层50个神经元
第三层隐藏层100个神经元
输出层10个神经元
"""
a1 = np.dot(x, w1) + b1#x.shape=(1000,784),w1.shape=(784,50),b1.shape=(50,)
z1 = sigmoid(a1)
a2 = np.dot(z1, w2) + b2#z1.shape=(1000,50),w2.shape=(50,100),b2.shape=(100,)
z2 = sigmoid(a2)
a3 = np.dot(z2, w3) + b3#z2.shape=(1000,100),w3.shape=(100,10),b3.shape(10,)
y = softmax(a3)#y.shape=(1000,10)
return y
三.批处理
如果我们改成每次处理100张图片,基于数值计算的库都能够高效处理大型数组的运算,并且在神经网络的运算中当数据传送成为瓶颈时,批处理可以减小数据总线的负荷,将更多资源用于计算上。批处理的数量可以更改,在实际测试中并未影响正确率。
#预设
x, t = get_data()
network = init_network()
batch_size = 1000 # 批数量
accuracy_cnt = 0#预测正确数初始化
for i in range(0, len(x), batch_size):
x_batch = x[i:i+batch_size]#每批次取1000张图片
y_batch = predict(network, x_batch)#1000张图片的预测结果 shape=(1000.10)
p = np.argmax(y_batch, axis=1)#每张图片的预测结果中找出概率最大值的下标,axis=1按行找出最大值的下标,下标达标该图片所代表的的预测值 p.shape=(1000,)
accuracy_cnt += np.sum(p == t[i:i+batch_size])#预测值和正确值相比较返回bool值矩阵,True的值是1,False的值是0,对矩阵求和即可得到预测正确数,并进行累加求和
print("正确率:" + str((accuracy_cnt/ len(x))))
四.完整代码
import sys, os
sys.path.append(os.pardir) # 为了导入父目录的文件而进行的设定
import numpy as np
import pickle#python的pickle模块实现了基本的数据序列化和反序列化。序列化对象可以在磁盘上保存对象,并在需要的时候读取出来。任何对象都可以执行序列化操作
from dataset.mnist import load_mnist
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def softmax(x):
x = x - np.max(x) # 溢出对策
return np.exp(x) / np.sum(np.exp(x))
def get_data():
"""
读取数据
:return:
"""
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=False, flatten=True, one_hot_label=False)
""" normalize:是否将图像正规化为0.0-1.0的值,如果设置为False,z=则图像输入保持0~255,这是像素的取值。
faltten:是否将输入图像展开为一维数组,否则图像为1x28x28,展开后为784。
one_hot_label:是否将标签保存为one_hot,如原本图像的标签为[1,2,3,4,5],one_hot之后只有1和0,
如识别出这个图像的数字是2,则one_hot表现为[0,1,0,0,0]这种模式。
"""
return x_test, t_test
#训练好的参数
def init_network():
with open("sample_weight.pkl", 'rb') as f:
network = pickle.load(f)#load()从字符串中恢复对象。sample_weight.pkl是以字典形式储存的训练好的样本权重
return network
def predict(network, x):
w1, w2, w3 = network['W1'], network['W2'], network['W3']
b1, b2, b3 = network['b1'], network['b2'], network['b3']
"""
输入层784个神经元
第二层隐藏层50个神经元
第三层隐藏层100个神经元
输出层10个神经元
"""
a1 = np.dot(x, w1) + b1#x.shape=(1000,784),w1.shape=(784,50),b1.shape=(50,)
z1 = sigmoid(a1)
a2 = np.dot(z1, w2) + b2#z1.shape=(1000,50),w2.shape=(50,100),b2.shape=(100,)
z2 = sigmoid(a2)
a3 = np.dot(z2, w3) + b3#z2.shape=(1000,100),w3.shape=(100,10),b3.shape(10,)
y = softmax(a3)#y.shape=(1000,10)
return y
#预设
x, t = get_data()
network = init_network()
batch_size = 1000 # 批数量
accuracy_cnt = 0#预测正确数初始化
for i in range(0, len(x), batch_size):
x_batch = x[i:i+batch_size]#每批次取1000张图片
y_batch = predict(network, x_batch)#1000张图片的预测结果 shape=(1000.10)
p = np.argmax(y_batch, axis=1)#每张图片的预测结果中找出概率最大值的下标,axis=1按行找出最大值的下标,下标达标该图片所代表的的预测值 p.shape=(1000,)
accuracy_cnt += np.sum(p == t[i:i+batch_size])#预测值和正确值相比较返回bool值矩阵,True的值是1,False的值是0,对矩阵求和即可得到预测正确数,并进行累加求和
print("正确率:" + str((accuracy_cnt/ len(x))))