基于TensorFlow深度学习框架，运用python搭建LeNet-5卷积神经网络模型和mnist手写数字识别数据集，设计一个手写数字识别软件。

本软件是基于TensorFlow深度学习框架，运用LeNet-5卷积神经网络模型和mnist手写数字识别数据集所设计的手写数字识别软件。
具体实现如下：
1.读入数据：运用TensorFlow深度学习框架，下载并读入mnist手写数字识别数据集。
2.构建模型：用神经元构建神经网络，定义神经网络的权重和偏置项来进行前向计算，并使用Softmax Regression模型来进行Softmax分类，即可得到每一类图像特征所对应数字的概率。
3.训练模型：设置训练参数（训练轮次、训练样本量、训练批次、显示力度、学习率等），定义交叉熵损失函数，选择梯度下降优化器来使得损失最小化，用argmax函数找出概率最大的对应数字，并计算准确率。
4.评估模型：用训练集和验证集完整训练后，在测试集上评估模型的准确率。
5.应用模型：模型构建完成后，应用模型，用鼠标写入数字进行识别。
6.用户界面：普通用户可注册账号、输入账号密码登录。管理员用户可以对用户账号进行增、删、改操作。登录后可设置训练参数来训练自己的模型，训练完成后即可应用自己的模型进行手写数字识别。每个账号训练的模型、写入的图像和识别的结果都可保存在自己的账号上（本地的文件里）。

一、研究背景、概况及意义
手写数字识别是利用机器或计算机自动辨认手写体阿拉伯数字的一种技术，是光学字符识别技术的一个分支。该技术可以应用到邮政编码、财务报表、税务系统数据统计、 银行票据等手写数据自动识别录入中。由于不同的人所写的字迹都不相同，对大量的手写体数字实现完全正确地识别不是一件简单的事情。随着全球信息化的飞速发展、数据量的急速增长以及对自动化程度要求的不断提高，手写体数字识别的应用需求急迫。因此，研究一种准确又高效的手写数字识别方法有着非常重大的现实意义和十分广阔的应用前景。
手写数字识别中以往流行的识别方法有三种：隐马尔科夫模型（HMM）、支持向量机（SVM）、人工神经网络（ANN），对复杂分类问题的数学函数表示能力以及网络的泛化能力有限，往往不能达到高识别精度的要求。随着深度学习（deep learning，DL）的不断发展和科学研究的不断深入，卷积神经网络（Convolutional Neural Network，CNN）的出现为解决这个问题提供了可能。它最初由美国学者Yann LeCun等提出，是一种层与层之间局部连接的深度神经网络，最常用于分析视觉图像，受生物自然视觉认知机制(动物视觉皮层细胞负责检测光学信号)启发而来，是一种特殊的多层前馈神经网络。它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。一个卷积神经网络通常包括输入输出层和多个隐藏层，隐藏层通常包括卷积层和RELU层（即激活函数）、池化层、全连接层和归一化层等。作为深度学习中最成功的模型之一，卷积神经网络已成为当前图像识别领域的研究热点，使得手写数字识别在识别率和识别速度上，都上了一个新台阶。
作为最早的卷积神经网络模型之一，也是最近大量神经网络架构的起点，LeNet-5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别。LeNet-5共有7层（不包括输入层），主要由卷积层、下采样层、全连接层以及输出层组成。输入层采用的是3232像素大小的蹄片，卷积层采用的是55大小的卷积核，且卷积核每次滑动一个像素。下采样层将卷积层2828或1010的特征图谱以22为单位的下采样得到1414或55的图。最后全连接层将所有的节点连接起来传给输出层。输出层共有10个节点，分别代表数字0到9。因此用LeNet-5模型搭建手写数字识别模型是非常直观且有重要意义的。
二、研究主要内容
本软件是基于TensorFlow深度学习框架，运用LeNet-5卷积神经网络模型和mnist手写数字识别数据集所设计的手写数字识别软件。LeNet-5共有7层（不包括输入层），主要由卷积层、下采样层、全连接层以及输出层组成。输入层采用的是3232像素大小的蹄片，卷积层采用的是55大小的卷积核，且卷积核每次滑动一个像素。下采样层将卷积层2828或1010的特征图谱以22为单位的下采样得到1414或55的图。最后全连接层将所有的节点连接起来传给输出层。输出层共有10个节点，分别代表数字0到9。具体实现如下：
1．读入数据：
运用TensorFlow深度学习框架，下载并读入mnist手写数字识别数据集。
2．构建模型：
用神经元构建神经网络，定义神经网络的权重和偏置项来进行前向计算，并使用Softmax Regression模型来进行Softmax分类，即可得到每一类图像特征所对应数字的概率。
3．训练模型：
设置训练参数（训练轮次、训练样本量、训练批次、显示力度、学习率等），定义交叉熵损失函数，选择梯度下降优化器来使得损失最小化，用argmax函数找出概率最大的对应数字，并计算准确率。
4．评估模型：
用训练集和验证集完整训练后，在测试集上评估模型的准确率。
5．应用模型：
模型构建完成后，应用模型，用鼠标写入数字进行识别。
6．用户界面：
普通用户可注册账号、输入账号密码登录。管理员用户可以对用户账号进行增、删、改操作。登录后可设置训练参数来训练自己的模型，训练完成后即可应用自己的模型进行手写数字识别。每个账号训练的模型、写入的图像和识别的结果都可保存在自己的账号上（本地的文件里）。
三、研究步骤、方法及措施
1．课题调研：
查阅与课题相关的书籍、文献资料、网络资源等，对课题的发展方向、研究意义和所需要的技术、资源进行全面了解，对课题实现有较为明确的预期和计划。由于本科期间对深度学习、神经网络等方面的知识了解较少，需要查阅并深入学习相关文献知识，从而打下坚实的基础。
2．技术学习：
需要熟悉python与TensorFlow编程，了解深度学习与LeNet-5卷积神经网络，掌握相关算法与函数。Python与TensorFlow也并未学习过，但Python和TensorFlow在机器学习、深度学习或其他计算领域都具有广泛运用，因而借此机会可以掌握新的编程语言和架构。
3．方法设计：
根据相关资料和预期计划，对软件涉及的方法进行完整的设计，确保软件在理论上是可行的。
4．初步编码：
在已有需求分析、功能设计的基础上，运用python、TensorFlow编程等相应技术实现论文中所涉及的方法，测试其在实际中是可行的。数字识别功能初步完成后，对用户界面进行设计和完成。
5．改进和维护：
根据实际编码和方法理论中的差异，以及测试结果的精度和预期的差距，通过改进运用函数或调整测试参数等方式，对软件进行优化。
参考文献：
参考文献
[1] Lécun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
[2] LECUN Y, BENGIO Y, HINTON G, et al. Deep Learning[J]. Nature, 2015, 521(7533):436-444.
[3] TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems[J]. 2016.
[4] 杜敏, 赵全友. 基于动态权值集成的手写数字识别方法[J]. 计算机工程与应用, 2010, 046(027):182-184.
[5] 刘炀, 汤传玲, 王静, et al. 一种基于BP神经网络的数字识别新方法[J]. 微型机与应用, 2012.
[6] El-Sawy A , El-Bakry H , Loey M . CNN for Handwritten Arabic Digits Recognition Based on LeNet-5[J]. 2016.
[7] 吕国豪, 罗四维, 黄雅平, et al. 基于卷积神经网络的正则化方法[J]. 计算机研究与发展, 2014, 51(009):1891-1900.
[8] 尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015:54-65.
[9] Fabien Lauer, Ching Y. Suen, Gérard Bloch.A trainable feature extractor for handwritten digit recognition[J].Pattern Recognition,2007:1816-1824.
[10] 赵志宏,杨绍普,马增强.基于卷积神经网络LeNet-5的车牌字符识别研究[J].系统仿真学报,2010(03):94-97.

实现的思路和方法：
（1）项目简介、理论意义与价值
手写数字识别是利用机器或计算机自动辨认手写体阿拉伯数字的一种技术，是光学字符识别技术的一个分支。该技术可以应用到邮政编码、财务报表、税务系统数据统计、银行票据等手写数据自动识别录入中。由于不同的人所写的字迹都不相同，对大量的手写体数字实现完全正确地识别不是一件简单的事情。随着全球信息化的飞速发展、数据量的急速增长以及对自动化程度要求的不断提高，手写体数字识别的应用需求急迫。因此，研究一种准确又高效的手写数字识别方法有着非常重大的现实意义和十分广阔的应用前景。
手写数字识别中以往流行的识别方法有三种：隐马尔科夫模型（HMM）、支持向量机（SVM）、人工神经网络（ANN），对复杂分类问题的数学函数表示能力以及网络的泛化能力有限，往往不能达到高识别精度的要求。随着深度学习（deep learning，DL）的不断发展和科学研究的不断深入，卷积神经网络（Convolutional Neural Network，CNN）的出现为解决这个问题提供了可能。它最初由美国学者Yann LeCun等提出࿰