深度网络学习调研报告



深度网络学习调研报告 

目 录

1.前言...............................................3

1.1课题研究的背景及意义..........................3

1.2国内外研究的现状..............................3

1.3本报告的基本内容..............................4

1.4本章小结......................................5

2.深度学习网络的基本思想与意义.......................6

2.1深度学习的起源................................6

2.2深度学习的发展................................7

2.3深度学习的基本思想............................8

2.4深度学习的意义................................9

2.5本章小结.....................................10

3.深度学习网络的基本算法和模型结构..................11

3.1深度学习的常用模型结构.......................11

3.2深度学习的基本算法与改进.....................14

3.2.1深度学习的基本算法...........................14

3.2.2深度学习算法的新进展.........................15

3.3本章小结.....................................17

4.深度学习网络与多层前向神经网络的比较..............18

4.1深度学习与浅层学习的区别.....................18

4.2网络模型结构的比较...........................19

4.2训练方法的比较...............................19

4.3本章小结.....................................21

5.深度学习网络的应用................................22

5.1深度学习与大数据时代的联系...................22

5.2深度学习与计算机视觉.........................23

5.3深度学习的具体应用...........................23

5.4本章小结.....................................28

6.深度学习网络的未来发展前景........................29

6.1深度学习面临的困难...........................29

6.2深度学习的局限性.............................30

6.3深度学习的未来展望与趋势.....................31

6.4本章小结.....................................34

总 结..............................................35

参考文献及浏览网页..................................36

 

1前言

随着人类跨入学习型社会的步伐越走越快，学会学习、终身学习等学习能力成为人类一项最基本的生存能力。但是，衡量学习者是否学会了如何学习的依据，不是学习者已掌握的知识数量、达到的知识广度，而是其整合信息以建构知识意义并灵活地加以运用，最终解决实际问题的能力，即深度学习能力。因此，随着全球对信息化背景下学生深度学习能力的高度重视，近年来有关深度学习的研究也受到国内外学者的广泛关注^[1]。

1.1课题研究的背景及意义

神经网络的学习与研究在近十年是一个很热门的研究课题，而最终这些研究成果部分可以体现在我们的日常生活中，神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。神经网络与其它传统方法相结，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类的认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向。虽然神经网络具有这么多的优点与可实用性，但是浅层神经网络在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限，已经适应不了高速科技与信息时代的发展所引发的一系列深层次问题，故而引发人们对深层网络的构建、学习与发展。

1.2国内外研究的现状

      

          自2006 年以来，深度学习在学术界持续升温，美国，加拿大，欧洲相继成为此领域的科研重镇。2010年美国国防部先进研究项目局首次资助深度学习，参与方包括斯坦福大学、纽约大学和NEC美国研究院等机构。2011 年，微软语音识别采用深度学习技术降低语音识别错误率20-30%，是该领域十多年来最大的突破性进展。2012年是深度学习研究和应用爆发的一年，深度学习被应用于著名生物制药公司黙克的分子药性预测问题， 从各类分子中学习发现那些可能成为药物的分子获得世界最好效果；谷歌的Google Brain 项目用16000 个处理器的服务器集群构建了一套超过10亿个节点的具备自主学习能力的神经网络，能自动从输入的大量数据中归纳出概念体系，图片搜索、无人驾驶汽车和Google  Glass 都将会从中受益。6月，Google公司的深度学习系统在识别物体的精确度上比上一代系统提高了一倍，并且大幅度削减了Android系统语音识别系统的错误率。百度引入深度学习以后，语音识别效果的提升超过了以往业界在过15年里所取得的成绩。12月，微软亚洲研究院展示了中英即时口译系统，错误率仅为7%，而且发音十分顺畅^[2]。

  2013年，欧洲委员会发起模仿人脑的超级计算机项目，计划历时10年投入16亿美元，由全球80个机构的超过200名研究人员共同参与，希望在理解人类大脑工作方式上取得重大进展，并推动更多能力强大的新型计算机的研发，就资助力度，项目范围，和雄心而言，该项目堪比于大型强子对撞机项目。库兹韦尔当前的目标就是帮助计算机理解自然语言并以自然语源与用户对话，虽然库兹韦尔的目标还要很多年才能实现。他希望将深度学习算法用到解决自然语言的问题上，让计算机能够发现语言的问题，解决语言的问题。

1.3本报告阐述的基本内容

主要流程图如下:

                                                            

                                                                                                           图1-1报告内容流程图

第一部分：深度学习的基本思想与意义；

第二部分：深度学习的基本算法与网络结构；

第三部分：深度学习与多层前向神经网络的比较，分析其相同点与不同点；

第四部分：深度学习网络的应用领域以及目前已经取得的一些成果；

第五部分：深度学习网络的未来发展趋势与前景，及其发展的局限性；

1.4本章小结

        本章简单介绍了课题研究的背景意义、国内外的研究现状、本报告的主要内容，引出课题研究的几个模块和全文报告的书写规律。

               

2.深度学习网络的基本思想与意义

2.1深度学习的起源

深度学习（Deep Learning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。

深度学习的概念源于人工神经网络的研究。深度学习是相对于简单学习而言的，目前多数分类、回归等学习算法都属于简单学习，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。含多隐层的多层感知器就是一种深度学习结构。深度学习模拟更多的神经层神经活动^[3]，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，深度学习的示意图如图2所示。

                   

                                   图2深度学习的简单示意图

   图灵在1950 年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。

   深度学习的概念由Hinton等人于2006年提出。基于深信度网（DBN）提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

2.2机器学习的两次浪潮对深度学习的发展

  机器学习的两次浪潮：从浅层学习到深度学习^[4]

  在解释深度学习之前，我们需要了解什么是机器学习。机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（ShallowLearning）和深度学习（Deep Learning）。需要指出是，机器学习历史阶段的划分是一个仁者见仁，智者见智的事情，从不同的维度来看会得到不同的结论。这里我们是从机器学习模型的层次结构来看的。

  第一次浪潮：浅层学习

  1980年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。

  90年代，各种各样的浅层机器学习模型相继被提出，比如支撑向量机（SVM，SupportVector Machines）、Boosting、最大熵方法（例如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型在无论是理论分析还是应用都获得了巨大的成功。相比较之下，由于理论分析的难度，加上训练方法需要很多经验和技巧，所以这个时期浅层人工神经网络反而相对较为沉寂。

  2000年以来互联网的高速发展，对大数据的智能化分析和预测提出了巨大需求，浅层学习模型在互联网应用上获得了巨大成功。最成功的应用包括搜索广告系统（比如Google的AdWords、百度的凤巢系统）的广告点击率CTR预估、网页搜索排序（例如Yahoo!和微软的搜索引擎）、垃圾邮件过滤系统、基于内容的推荐系统等。

  第二次浪潮：深度学习

  2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：1.很多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2.深度神经网络在训练上的难度，可以通过“逐层初始化（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。

  自2006年以来，深度学习在学术界持续升温。不论是国内外的专家学者还是各个国家的国防部门，还有一些大型的网络科技公司都对深度学习产生了浓厚的学习兴趣。正如文章开头国内外研究现状中所描述的，今天Google、微软、百度等知名的拥有大数据的高科技公司争相投入资源，占领深度学习的技术制高点，正是因为它们都看到了在大数据时代，更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。

2.3深度学习的基本思想

  

  假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn=> O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失^[23]，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入<