华南理工深度学习与神经网络期末考试_深度学习算法地图

原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。

• 书的购买链接
• 书的勘误，优化，源代码资源

PDF全文链接：深度学习算法地图

自去年7月份SIGAI机器学习算法地图问世以来，受到了业内人士的热烈欢迎。百度云盘、TensorInfinity官网，以及纸质版已经累计邮寄、下载、发放超过5万册。这张地图有多种用法：可用作电脑桌面，让你烂熟于心；可贴在墙上，装饰你的卧室。有用户反映它有辟邪的效果，挂在墙上，过拟合、不收敛之类的问题敬而远之。更有甚者，有成功人士将其刷在办公室墙上，作为镇宅之宝。机器学习算法地图中的绝大部分算法，在SIGAI公众号某作者所著的《机器学习与应用》，清华大学出版社，雷明著中均有详细讲述。自2019年1月出版以来，已经重印4次，第二版做了大幅度优化，将于6-7月出版。欢迎大家拍砖，一起将其打造成这个时代的经典。

本文是机器学习算法地图的下篇，系统地整理了深度学习算法，整张图的设计风格与机器学习算法地图保持一致。从去年底就开始酝酿深度学习算法地图，然而工程浩大。这张图是SIGAI算法工程师集体智慧的结晶，也是在研发SIGAI核心产品-简单易用的机器学习框架过程中的副产品。由于深度学习的算法变种太多，而且处于高速发展期，因此难免会有疏漏，后续版本将不断完善与优化。本文介绍的大部分算法，在《机器学习与应用》一书中也有完整的讲述。

完整的算法地图

下面先看这张图，以观深度学习全貌：

此图的清晰版本可以从SIGAI微信公众号或张量无限官网http://www.tensorinfinity.com下载。此图只列出了深度学习领域最重要的模型，限于篇幅以及为了简洁，那些鲜为人知的方法没有全部列出。图中体现了两条主线：

从感知器-logistic回归-多层感知器模型（MLP）到深度神经网络的发展过程。这是深度学习的完整历史。

深度神经网络的各种类型。包括卷积神经网络/CNN，循环神经网络/RNN，深度生成模型，图神经网络/GNN，深度强化学习/DRL，自动编码器/AE，随机神经网络，神经结构搜索/NAS这8个一级分支。

卷积神经网络列出了分类网络，检测网络，分割网络，跟踪网络，轻量化网络这5个二级分支。此外还有为其他应用而生的网络，如3D视觉，人脸识别，人脸检测等，在这里没有完全列出。

检测网络列出了8个分支，分别为RCNN家族，YOLO家族，SSD家族，RFCN家族，FPN家族，RetinaNet家族，Ahchor Free家族，以及其他类型的算法。需要强调的是，这里的分类并没有一个标准，你有自己的看法或对这种分类有异议是很正常的。

深度生成模型列出了2个分支，包括变分自动编码器/VAE，以及生成对抗网络GAN。除此之外，还存在其他类型的生成模型，但影响力较小，故没有列出。

深度强化学习列出了2个分支，包括基于价值函数的算法/DQN，以及直接对策略进行优化的策略梯度算法/PG。其他类型的方法没有一一列出。

神经结构搜索列出了2个分支，分别为单目标NAS以及多目标NAS。

感知器模型-神经网络的起点

追根溯源，感知器模型可以认为是神经网络的起点，由Rosenblatt在1958年提出。这一古老的机器学习算法是一个线性分类器，用一个线性函数将各类样本分开。对于二分类问题，落在超平面一侧的样本被判定为第