python实现神经网络数字识别_机器学习 手写数字识别(人工神经网络 Python实现)...

本文参考《Python神经网络编程》的相关章节

现在很火的一个机器学习数据集就是手写数字数据集(MNIST)

这个网站提供了两个CSV文件:

训练集:http://www.pjreddie.com/media/files/mnist_train.csv

测试集:http://www.pjreddie.com/media/files/mnist_test.csv

训练集有60000个标记样本,用于训练。测试集有10000个标记样本,用于测试

以下网站提供了两个较小的数据集,我们在调试程序的过程中可以使用他们:

训练集:https://raw.githubusercontent.com/makeyourownneuralnetwork/makeyourownneuralnetwork/master/mnist_dataset/mnist_train_100.csv

测试集:https://raw.githubusercontent.com/makeyourownneuralnetwork/makeyourownneuralnetwork/master/mnist_dataset/mnist_test_10.csv

打开其中一个文件,我们可以看到其格式如下:

这是一个样例的数据,第一个值是该样例的标签(这里是7),剩下的数据是手写数字图片各个像素点的颜色值,所以每个值的取值范围为0~255,其个数为28*28共784个

我们用灰度变化来显示该手写数字,Python代码如下:

import numpy as np

from matplotlib import pyplot as plt

data_file = open('mnist_test_10.csv', 'r')

data_list = data_file.readlines()

data_file.close()

all_values = data_list[0].split(',')

image_array = np.array(all_values[1:]).astype(np.int).reshape((28, 28))

plt.imshow(image_array, cmap = 'Greys', interpolation = 'None')

plt.show()

没有问题, 我们可以看到一个由灰度表示出来的手写数字7。

手写数字的识别中一个很著名的一个方法K近邻(KNN)算法,十分简单,并且识别效果也是很好的,但是我们今天不使用这种方法,我们使用神经网络。

上一篇博文已经构建了一个很成熟的神经网络模型,我们可以直接使用。现在要解决的唯一问题就是,神经网络每一层的结点个数。

输入层,隐层:输入层和隐层结点数可以取相同值,每个像素点为一个输入,所以应该有28*28共784个

输出层:一共有10中可能的判断(0~9),我们用编码的思想设置10个结点,输出为1的那个结点的位置代表预测标签,即[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]代表预测为1

现在我们已经可以开始训练我们的神经网络了,但是有几个小细节值得注意:

一:输入的数据

我们需要调整数据到较小的范围(数据缩放),这里我就不介绍数据缩放对模型训练的影响了,感兴趣的同学请自行查阅相关文章。

我们这里将数据缩放至0.01~10的范围,选0.01作为最低点是避免0输入对权重更新无影响的情况

因为所有数据的取值范围为0~255,所以对所有数据除以255,变为0~1的输入,在乘0.99,变为0~0.99的输入,最后加上0.01,变为0.01~1.00的输入

二:权重的初始化

使用下一层的结点数的开方作为标准方差来初始化权重

三:步长

步长的选择,理论上是越小越好的,但是越小的步长需要的训练次数会越多,所以我们要选择合适的步长,要在训练次数下能达到最优,且波动不能太大。

我们这里选择0.3的步长,步长选择没有明确的方法,只有用实验来确定一个相对合适的步长。

现在我们来看看Python的实现:

文件读取:

def loaddataset(filename):

fp = open(filename, 'r')

dataset = []

labelset = []

for i in fp.readlines():

a = i.strip().split(',')

#对数据进行缩放

dataset.append([(int(j) / 255.0 * 0.99 + 0.01) for j in a[1:]])

labelset.append(int(a[0]))

return np.array(dataset), np.array(labelset)

修改标签(改为[0, 0, 1, 0, 0, 0, 0, 0, 0, 0]的形式):

对于激活函数来说,生成0,1的输出是不可能的,会导致出现大的权重和饱和网络,所以我们使用0.01代替0,0.99代替1

def adjustment_label(labelset):

new_labelset = []

for i in labelset:

new_label = [0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01]

new_label[i] = 0.99

new_labelset.append(new_label)

return new_labelset

激活函数sigmoid使用scipy库中的expit(x)函数,网传其运行速度会更快,毕竟60000个样例,我的电脑训练一次至少要25分钟。

import scipy.special as spc

def sigmoid(z):

return spc.expit(z)

参数初始化:

def parameter_initialization(x, y, z):

value1 = np.random.normal(0.0, pow(1, -0.5), (1, y))

value2 = np.random.normal(0.0, pow(1, -0.5), (1, z))

weight1 = np.random.normal(0.0, pow(x, -0.5), (x, y))

weight2 = np.random.normal(0.0, pow(y, -0.5), (y, z))

return weight1, weight2, value1, value2

开始训练(训练过程不需要任何的修改):

def trainning(dataset, labelset, weight1, weight2, value1, value2, x):

for i in range(len(dataset)):

print(i)

inputset = np.mat(dataset[i])

outputset = np.mat(labelset[i])

input1 = np.dot(inputset, weight1)

output2 = sigmoid(input1 - value1)

input2 = np.dot(output2, weight2)

output3 = sigmoid(input2 - value2)

a = np.multiply(output3, 1 - output3)

g = np.multiply(a, outputset - output3)

b = np.dot(g, np.transpose(weight2))

c = np.multiply(output2, 1 - output2)

e = np.multiply(b, c)

value1_change = -x * e

value2_change = -x * g

weight1_change = x * np.dot(np.transpose(inputset), e)

weight2_change = x * np.dot(np.transpose(output2), g)

value1 += value1_change

value2 += value2_change

weight1 += weight1_change

weight2 += weight2_change

return weight1, weight2, value1, value2

测试过程:

因为可能出现10个输出中没有大于0.5或多个大于0.5的情况,所以我们寻找10个输出中最大的一个的位置,作为预测标签

def testing(dataset, labelset, weight1, weight2, value1, value2):

rightcount = 0

for i in range(len(dataset)):

inputset = np.mat(dataset[i])

outputset = np.mat(labelset[i])

input1 = np.dot(inputset, weight1)

output2 = sigmoid(input1 - value1)

input2 = np.dot(output2, weight2)

output3 = sigmoid(input2 - value2)

label = np.argmax(output3)

if int(label) == int(labelset[i]):

rightcount += 1

print("真实值为%d, 预测值为%d"%(labelset[i], label))

print("正确率为%f"%(rightcount / len(dataset)))

np.argmax()返回行向量中最大值的位置

我们可以将训练好的参数用文件的形式保存,之后可以直接使用,不需要再次训练,毕竟训练一次要好久呢。我的训练好的参数文件也上传至我的资源。

最后我们在测试集上的预测准确率为:

正确率为0.953000

[Finished in 1005.7s]

结果是相当不错的。 我们可以适当的调小步长,增大训练次数来提高准确率,我就不去实现了(训练过程实在太长)。

标签:Python,0.01,人工神经网络,weight2,weight1,np,手写,dataset,labelset

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值