深度学习笔记之《解析卷积神经网络》附下载地址

点击上方“Datawhale”，选择“星标”公众号

第一时间获取价值内容

《解析卷积神经网络》是  @魏秀参  博士撰写的深度学习实践手册，主要以卷积神经网络为主体，可以在魏博士个人主页获取电子版或者在文末下载，解析卷积神经网络——深度学习实践手册 [1]，基本涵盖了卷积神经网络的基础概念、实践操作等，内容也不多，平时看看复习一下也不错，这篇文章的目的是为方便大家快速学习和复习所用，同时也便于之后在这个基础上丰富卷积神经网络相关知识。下面的内容，一部分将以自己的口吻描述，也有一部分参考了原文。

深度学习的前世今生

实际上深度学习，只是机器学习的一个子领域，同样地，机器学习也是人工智能的一个子领域。但是随着深度学习的发展，尤其是在AlphaGo那场世纪大战之后，深度学习渐渐地脱离于机器学习，人们口中的“机器学习”逐渐地成了传统机器学习，即不包含深度学习的那部分。与此同时，机器学习、深度学习同时也是计算机视觉、自然语言处理、语音识别的工具，上述领域的关系相辅相成，不能割裂地看待。

深度学习，尤其指的是人工神经网络，其实早在上个世纪就存在，而不是最近几年的产物（深度学习不一定指深度神经网络，其他的形式还有深度森林等模型）。1948 年，诺伯特·维纳发表了著名的《控制论——关于在动物和机器中控制和通讯的科学》，这是非常经典的巨作之一，其他还有《信息论》、《博弈论》等。控制论的出现，提出了一些简单的线性模型，但是这些简单模型无法处理异或问题，并且那个年代的计算力有限，神经网络的研究进入寒冬。1986年，Rumelhart, D. E., Hinton, G. E.等人提出了Learning internal representations by error propagation [2]，用于解决神经网络的复杂计算量问题，并且可以使用神经网络计算异或问题。深度学习在十九世纪八十年代迎来了第二个春天，但是硬件设备不足，无法提供足够算力，同时传统机器学习算法的不断发展，使得深度学习再次迎来寒冬。

本世纪初，随着各种智能设备的出现，数据获取变得非常简单，与此同时硬件也不断发展，高性能计算机、图形处理器等也加速了其发展。2012年，在计算机视觉领域权威赛事ImageNet挑战赛上AlexNet强势夺冠；2015年，ResNet在视觉分类任务上超越人类水平。除此以外，算法也得到不断发展，从朴素神经网络到卷积神经网络、循环神经网络、对抗生成网络、图神经网络，也发生了翻天覆地的变化，这也离不开深度学习三雄Hinton、LeCun、Bengio等前辈在领域的不断深耕，深度学习也迎来了第三个春天。

• 1940s - 1960s，控制论等的出现，但仍然无法解决异或问题、计算力问题等；

• 1980s - 1990s，反向传播算法的出现，连接主义的兴起，异或问题得到解决，但是数据获取困难，硬件受限，深度学习本身是个黑箱问题，同时传统机器学习算法不断发展；

• 2000s - 至今，随着数据、算力、算法的不断发展，深度学习在多项任务上的性能先后超越人类；

深度学习有一个比较重要的思想——“end-to-end”，中文译为“端到端”，这是深度学习区别于其他机器学习算法的一个方面。传统的机器学习，一般使用特征工程以及特定某个问题涉及的机器学习算法。使用手工设计的特征，如计算机领域经典的一些算子（全局特征算子、局部特征算子，常见描述局部特征的算子有SIFT、PCA-SIFT、SURF、HOG等，可以参考这篇文章A performance evaluation of local descriptors [3]），对这些特征加以选择、降维等，再针对某个特定问题选择或者设计一个机器学习算法。难免会出现以下两个问题：

• 针对每个问题，都需要选择或者设计新的特征以及机器学习算法，这样的代价比较大。

• 在机器学习问题中，经常使用分治法，将一个问题分成若干子问题，针对每个子问题分别解决，但是每个子问题的最优解，未必会在整体问题上具有最优解。