《深度学习》阅读笔记1.2 深度学习发展趋势及特点

本篇主要为原书引言及1.2节内容，从历史及发展趋势角度对深度学习方法进行介绍，使读者对对深度学习的特点及变迁有了整体的认识。

 

1 深度学习的地位及特点

图1给出了深度学习与人工智能、及机器学习等概念的关系

人工智能（Artificial Intelligence），它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。——百度百科

尽管目前提到人工智能常常会联想到神经网络，但人工智能实际上是一个很宽泛的概念，其中方法也很多，如专家系统等基于规则及知识库的方法及基于核方法或贝叶斯统计的机器学习方法等都是这一范畴。

机器学习（Machine Learning）在人工智能大概念的基础上，强调计算机从原始数据中自己获取知识即提取模式并做出决策的能力。传统机器学习的方法十分依赖于数据的表示（representation），通常难以直接处理高维的原始数据，需要基于人工提取的数据特征亦即数据的表示，不同的数据表示将很大程度影响机器学习的效果。因此提取怎样数据特征是传统机器学习应用中的一个重要问题，然而许多复杂任务难以人工提取特征或者提取特征需要极高的时间成本。

表示学习（Representation learning）希望利用计算机自己发掘和提取做出决策需要的特征，如自编码器。实践证明表示学习能用远小于人工的时间提取特征，并且可能具有更好的效果。提取特征的一个关键是分离出数据的变差因素（factor of variation）。变差因素可以看做决定数据本质的抽象概念，如语音分析中说话者的性别、口音等。变差因素往往不能被直接观测到，但会影响到可观测的量并很大程度决定数据的本质。由于上述特性从原始数据中直接提取抽象的变差因素比较困难。

深度学习（Deep learning）通过层次化的表示实现抽象特征的提取，即浅层提取简单的特征如形状、轮廓灯，高层通过对简单特征的组合实现对抽象概念的表示。深度学习本身并不仅指代神经网络方法，而是强调多层次组合学习的观点（如深度森林的尝试）。不过目前深度学习中取得最广泛关注及良好效果的依然是神经网络方法。

2神经网络的发展趋势

第一次浪潮（1940-1960） 控制论，受神经科学的启发设计了一些线性模型，如感知机。线性模型无法处理复杂的非线性问题（如XOR）导致衰退

第二次浪潮（1980-1995）联结主义，认为网络将大量计算单元连接在一起可以实现智能行为。开始应用分布式表示、反向传播等概念，实现了早期卷积神经网络、长短时记忆网络等成功。但受计算性能限制这一时期网络并不深，同一时期机器学习核方法（如SVM）及图模型取得迅猛发展，导致衰退

第三次浪潮（2006-）深度学习，随着计算机性能的提升，及深度置信网中贪婪逐层预训练策略（2006）的提出，具备了训练较深的神经网络的能力，掀起了新一轮神经网络研究的浪潮。此外尽管研究的重点依然更多的是有监督学习和大量数据集上的能力，无监督学习和小数据集上泛化性能的研究也得到了日益提升的关注。

2.1发展趋势

（1）更大的数据量

“截至2016年，一个粗略的经验法则是，监督深度学习算法在每类给定约5000个标注样本情况下一般将达到可以接受的性能，当至少1000万个标注样本的数据集用于训练时，将达到或超过人类表现。”

                                                                  图2 典型数据集的规模变化

（2）更大的模型规模

生物神经元连接并不十分稠密，目前人工神经网络模型中每个神经元的连接数已经达到了哺乳动物水平。但受限于硬件水平，模型中神经元总数仍相对较少，不过大约保持着每2.4年扩大一倍（和硬件的摩尔定律接近）

 

                                                                       图3 神经元连接数变化

       

                                                                                图4 神经元总数变化

（3）更高的精度、复杂度和对现实世界的冲击

随着深度神经网络的发展，在图像识别、语音处理上的准确率都得到大幅提升。

此外解决的问题也日益复杂，如学习序列关系（LSTM）、自我编程（神经图灵机）

强化学习（reinforcement learning）在没有人类指导的情况下，通过试错来学习执行任务