Review of deep learning: concepts, CNN architectures, challenges, applications, future directions（一）

Alzubaidi L, Zhang J, Humaidi A J, et al. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions[J]. Journal of big Data, 2021, 8: 1-74.

引用量：4496

一、Abstract

在过去的几年里，深度学习（DL）计算范式一直被认为是机器学习（ML）社区的黄金标准。此外，它已经逐渐成为ML领域中应用最广泛的计算方法，从而在一些复杂的认知任务中取得突出的结果，匹配甚至击败人类表现所提供的结果。DL的好处之一是能够学习大量的数据。DL 领域在过去的几年中发展迅速，并被广泛地用于成功地解决了广泛的传统应用。更重要的是，DL在许多领域都优于著名的ML技术，如网络安全、自然语言处理、生物信息学、机器人技术和控制，以及医学信息处理等。尽管已经引用了一些关于DL的最先进的作品，但它们都只涉及了DL的一个方面，这导致了对它的整体缺乏知识。因此，在这篇文章中，我们建议使用一个更全面的方法，以提供一个更合适的起点，以发展对DL的全面理解。特别地，本综述试图对DL最重要的方面提供一个更全面的调查，并包括那些最近添加到领域中的增强。本文特别概述了DL的重要性，介绍了DL技术和网络的类型。然后介绍了最常用的DL网络类型的卷积神经网络（CNNs），并描述了CNNs架构的发展及其主要特征，例如，从AlexNet网络开始，关闭到高分辨率网络(HR.Net)。最后，我们进一步提出了挑战和建议的解决方案，以帮助研究者理解现有的研究差距。它后面是一个主要的DL应用程序的列表。本文总结了一些计算工具，包括FPGA、GPU和CPU，并总结了它们在DL上的注入情况。最后以评价标准、基准数据集进行总结和结论。

Keywords：深度学习（Deep learning）、机器学习（Machine learning）、卷积神经网络（CNN）、深度神经网络架构（Deep neural network architectures）、深度学习应用（Deep learning applications）、图像分类（Image classifcation）、迁移学习（Transfer learning）、医学图像分析（Medical image analysis）、监督学习（Supervised learning）、FPGA、GPU

二、Introduction

近年来，机器学习（ML）在研究中已经非常广泛，并已被纳入各种应用，包括文本挖掘、垃圾邮件检测、视频推荐、图像分类和多媒体概念检索[1–6]。在不同的ML算法中，深度学习（DL）在这些应用[7–9]中非常常用。DL的另一个名称是表示学习（RL）。在深度和分布式学习领域，新研究的持续出现是由于获取数据的能力的不可预测的增长，以及在硬件技术方面取得的惊人进步，如高性能计算（HPC）[10]。

DL是由传统的神经网络衍生而来的，但其性能明显优于它以前的神经网络。此外，DL同时采用转换和图形技术，以建立多层学习模型。最近开发的DL技术在各种应用中都获得了良好的出色性能，包括音频和语音处理、视觉数据处理、自然语言处理（NLP），以及其他[11–14]。