基于TensorFlow下深度学习的数据分类

基于TensorFlow下深度学习的数据分类

本篇文章翻译原文地址为：http://xueshu.baidu.com/s?wd=paperuri%3A%28a4bd0706a55c0c0a24ce7dc68a33f9f2%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fieeexplore.ieee.org%2Fabstract%2Fdocument%2F8093521%2F&ie=utf-8&sc_us=3392967449453810826
以下为译文

摘要—— 深度学习是机器学习的一个子领域，它使用受人脑结构和功能启发的人工神经网络. 尽管它是一种非常新的方法，但最近变得非常火热。在许多机器学习已取得成功的问题中，深度学习取得了更好的成绩。尤其是在大数据集的分类中首选深度学习，因为它可以提供快速有效的结果。在本文中，我们使用当前最流行的深度学习库TensorFlow，对MNIST数据集进行分类，这个数据集在数据分析研究中经常使用。我们使用由谷歌开发的开源的人工智能库TensorFlow，研究并对比了多种激活函数对分类结果的影响。使用的激活函数是修正线性单元（ReLu），双曲正切（tanH），指数线性单位（eLu），sigmoid, softplus 和softsign。在本文中，人工神经网络使用卷积神经网络（CNN）和SoftMax分类器深度学习。结果表明使用ReLu激活函数分类的正确率最高。

关键词 - 深度学习; Tensorflow; CNN; RELU; Softmax分类器

I. 引言

大数据是我们对具有庞大，多样和复杂的数据结构的数据集的一个术语，这些数据结构难以使用传统的计算方法和模型进行分析或可视化 [1]。互联网的广泛使用引起了社交媒体的频繁使用，并增加了诸如分享照片，视频，文本和互联网日志记录等数据产生，从而形成称为大数据的非常大的数据集
“大数据”一词不仅表示从互联网收集的数据，还表示其他来源如手机，气候传感器等来源产生的不同类型的数据[2]。很难用单一定义来表达大数据和大数据分析 [3]。但是，大数据分析可以定义为通过使用数据挖掘操作，为从各种来源接收的数据提供可用性。数据的大小和处理时间是大数据的另一个重要方面。大数据有5个构成要素称为5-V。这些组件是多样性，速度，大数据量，准确性和价值[6]。
大数据分析中除了使用机器学习方法之外，如今深度学习方法也经常使用。 近年来，使用深层人工神经网络的研究在许多竞赛中取得了成功[7]。
深度学习越来越流行，可看作是一种关于人工神经网络的学习技术，虽然经典机器学习的分类方法把结果分为0或1，但深度学习可以给出0 和1之间的数值结果。因此，可以针对当前问题获得更准确的答案，在分类方法中实现更快和更高的准确率。
深度学习中通过CNN，可以创建一个通过改变各种参数来启用强大且通常正确的假设模型[8]。有几个用于深度学习研究的库。
在本文中，使用Tensorflow库进行分类。Tensorflow是Google开发的一款用于数值计算的开源软件库，现在已被许多大公司广泛使用。Tensorflow提供了一个表示机器学习算法的接口和执行这些算法的应用程序[9]。
使用TensorFlow表达的计算可以在很广范围的异构系统中进行，从移动设备如手机和平板电脑）到大型分布式系统（数百台机器）以及各种计算设备（如GPU卡） 。
在本文中，使用MNIST数据集测量Tensorflow库的性能。MNIST是“改良国家标准与技术研究院”的缩写，是一个由手写数字组成的大型数据集，常用于图像处理系统的训练[10]。
在这个数据集中，有60,000个用来训练的数字图片和10000的测试图片。图1显示了用不同笔迹书写的数字。每张照片由28x28像素组成。

图1 MINIST数据集的示例

通过在用Tensorflow库内置的软件中选择不同的激活函数，来测量数据集的正确分类性能，表1给出了所选激活函数的图表和方程
表1 使用的激活函数和方程

Softmax分类器用于分类数据集。Softmax是经常用于深度学习应用的分类器和函数[15]。使用Softmax可以直接通过分类器对数据进行分类。
在本文的第一部分，给出了大数据，深度学习，TensorFlow，MNIST数据集， 激活函数和关于softmax分类器的一般信息。第二部分介绍实验工作。最后 一节包含结果和讨论。

II. 实验研究

在图2中是准备好的系统流程图，在MNIST数据集中的图像用IDX文件格式存储。这种简单格式用于各种数字类型的向量和多维矩阵。数据集中有4个文件，包括用于测试和训练的图像和标签信息。

图2.系统流程图
给定深度学习第二部分Tensorflow库的参数。对于这个问题，设定迭代100, 000次。由于每个图像由28x28像素组成，所以网络输入参数值取为784。输出类别选择为10，因为数字预计位于0到9的数字之内。
在确定第三部分的权重时，选择了5x5的卷积核和32个输出。然后再次用5x5卷积核和64个输出。在全连接层中，分别选择3136和1024的值作为输入和输出。前一层的输出值1024作为输出层的输入，输出为10个类别，并带有类的总数。偏置值作为权重层中的输出值。
在第四步中，通过选择不同的激活函数，在选定的迭代期间测量分类器的性能 。表2显示了使用不同激活函数获得的准确率。

表二. 不同激活函数的分类器性能

在图3中 ，根据ReLu激活函数的迭代次数与准确率的关系确定最佳的结果。图4-8给出了其他激活函数。

图3.测试使用 ReLu激活函数的准确率

图4.测试使用 Softsign激活函数的准确率

图5. 测试使用 sigmoid激活函数的准确率

图6. 测试使用eLu激活函数的准确率

图7. 测试使用TanH激活函数的准确率

图8.测试使用SoftPlus激活函数的准确率

III. 总结与展望

深度学习方法日益流行。特别是在分析大数据时，深度学习提供了快速有效的解决方案。在本文中，对MNIST数据集进行了分类，该数据集广泛用于深度学习应用。Tensorflow正是解决此类问题。
选择不同的激活功能来测试系统分类的准确性。为此使用了ReLu，eLu，tanH，sigmoid，softPlus和softsign激活函数。SoftMax用作分类器 。根据实验结果，当选择ReLu作为激活函数时，可以获得最佳精度。在用ReLu激活函数的研究中，对测试数据达到了98.43％的分类准确度。
准确率会随着迭代次数的增加而增加，但分类时间也会变长。在今后的研究中，我们主要通过使用不同的神经网络模型来提高分类的准确性。

参考文献

[1] S. Sagiroglu and D. Sinanc, “Big data: A review,” in 2013 International Conference on Collaboration Technologies and Systems (CTS), 2013, pp. 42–47.

[2] C. Snijders, U. Matzat, and U. Reips, “‘Big Data’: Big Gaps of Knowledge in the Field of Internet Science,” Int. J. Internet Sci., vol. 7, no. 1, pp. 1–5, 2012.

[3] V. Mayer-Schönberger and K. Cukier, Big Data: A Revolution That Big will Transform How we Live, Work and Think, vol. 26. 2013.

[4] I. S. Rubinstein, “Big Data: The End of Privacy or a New Beginning?,” Int. Data Priv. Law, vol. 3, no. 2, pp. 74–87, 2013.

[5] M. a. Beyer and D. Laney, “The Importance of ‘Big Data’: A Definition,” 2012.

[6] M. M. Gobble, “Big Data: The Next Big Thing in Innovation.,” Res. Technol. Manag., vol. 56, no. 1, pp. 64–66, 2013.

[7] J. Schmidhuber, “Deep learning in neural networks: An overview,” Neural Networks, vol. 61, pp. 85–117, Jan. 2015.

[8] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Adv. Neural Inf. Process. Syst., pp. 1–9, 2012.

[9] M. Abadi et al., “TensorFlow: A System for Large-Scale Machine Learning TensorFlow: A system for large-scale machine learning,” in 12th USENIX Symposium on Operating Systems Design and Implementation (OSDI ’16), 2016, pp. 265–284.

[10] Y. Lecun, C. Cortes, and C. J. C. Burges, “The MNIST Database,” Courant Institute, NYU, 2014. [Online]. Available: http://yan.lecun.com/exdb/mnist.

[11] V. Nair and G. E. Hinton, “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proc. 27th Int. Conf. Mach. Learn., no. 3, pp. 807– 814, 2010.

[12] D.-A. Clevert, T. Unterthiner, and S. Hochreiter, “Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs),” pp. 1–14, 2015.

[13] X. Glorot, A. Bordes, and Y. Bengio, “Deep sparse rectifier neural networks,” AISTATS ’11 Proc. 14th Int. Conf. Artif. Intell. Stat., vol. 15, pp. 315–323, 2011.

[14] P. Le and W. Zuidema, “Compositional Distributional Semantics with Long Short Term Memory,” arXiv1503.02510 [cs], 2015.

[15] R. . Salakhutdinov and G. . Hinton, “Replicated softmax: An undirected topic model,” Adv. Neural Inf. Process. Syst. 22 - Proc. 2009 Conf., pp. 1607–1614, 2009.