【读书笔记】《深度神经网络FPGA设计与实现》（孙其功）第一章 深度学习及AI芯片

一. 深度学习研究现状

1. 基本介绍

随着“人工智能”“深度学习”和“机器学习”这三个概念的出现并应用于社会各个领域，越来越多的人将这三个概念混为一谈。严格来说，机器学习是人工智能的一个分支，专门研究计算机怎样模拟或实现人类的学习行为；而深度学习是实现机器学习的一种技术，该技术使得机器学习能够实现众多的应用并拓展了人工智能的领域范围。

人工智能、机器学习、深度学习的关系图

深度学习与传统机器学习的区别

2. 深度学习和神经网络的发展历程

传统的神经网络起源于生物神经网络，20世纪40年代出现的神经元的MP 模型和Hebb学习规则，为以后的学习算法奠定了基础。1957年，F. Roseblatt提出了由两层神经元组成的神经网络，并将其称为“感知器”。“感知器”作为首个可以学习的人工神经网络在社会上引起了轰动，许多学者纷纷投入到神经网络的研究中。这段研究浪潮成为了神经网络研究的第一次高潮。20世70年代，Minskey指出感知器只能做简单的线性分类任务，甚至无法实现稍复杂的异或(xor)问题，神经网络的研究陷入冰河期，如图所示。

监督学习

监督学习是指所有数据都有明确的标签，通过建立一个学习训练过程，将模型训练结果与实际的数据标签相比较，并不断地调节预测模型，直到模型得到一个理想的结果。

半监督学习

半监督学习是指所有训练数据中，有一部分是有标签的，一部分是没有标签的，往往没有标签的数据比有标签的数据量要大。

无监督学习

无监督学习是对无标签数据进行分析的一种学习方法。

深度强化学习

深度强化学习是指在没有数据标签的情况下，网络通过汇报函数来判断输出结果是否接近目标。

3. 典型的深度神经网络

深度置信网络

深度置信网络(Deep Belief Network，DBN)是由Geoffrey E. Hinton于2016年提出的由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成，以贪婪的方式进行训练的一种概率生成模型。

深度卷积神经网络

深度卷积神经网络(Deep Convolutional Neural Network，DCNN)是受启于人大脑对眼睛接收信号的理解过程而提出的模型，它的雏形是1998年LeCun提出的LeNet-5模型，真正进入大众视野是2012年AlexNet模型取得ImageNet比赛的分类任务的冠军。深度卷积神经网络模型被广泛应用于计算机视觉领域。

深度递归神经网络

递归神经网络(Recursive Neural Network，RNN)是于1990年出现的一种处理序列结构信息的深度神经网络模型，它可以在处理新输入的同时存储信息。

生成对抗网络

生成对抗网络(Generative Adversarial Nets，GAN)是由Ian Goodfellow于2014年提出的一种无监督学习网络模型。

图神经网络

图神经网络是在已有神经网络的基础上进行的拓展，其理论基础由Franco博士在2009年首次提出，直到2013年才得到广泛关注及应用。

AutoML

AutoML是针对庞大数量的神经网络模型而发展起来的深度神经网络学习工具，它是一种避免人工干预、可自动针对特定问题搜索出最佳神经网络架构的网络学习方法。该算法的模型主要是神经网络架构搜索(Neural Architecture Search，NAS)及在其基础上改进得到的渐进式神经架构搜索和高效神经架构搜索等，谷歌(Google)通过提供Cloud AutoML将其发挥到了极致，只需上传数据，谷歌的NAS 算法就会找到一个快速简便的架构。

二. AI芯片研究现状

1. GPU

GPU(Graphic Processing Unit)起初专门用于处理图形任务，主要由控制器、寄存器和逻辑单元构成。

2. 半制定FPGA

FPGA(Field-Programmable Gate Array)是现场可编程门阵列，它允许无限次的编程，并利用小型查找表来实现组合逻辑。FPGA可以定制化硬件流水线，可以同时处理多个应用或在不同时刻处理不同应用，具有可编程、高性能、低能耗、高稳定、可并行和安全性的特点，在通信、航空航天、汽车电子、工业控制、测试测量等领域取得了很大的应用市场。

3. 全定制ASIC

ASIC(Application Specific Integrated Circuit)是专用集成电路，是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。相比于同样工艺的FPGA实现，ASIC可以实现5～10倍的计算加速，且量产后ASIC的成本会大大降低。不同于可编程的GPU和FPGA，ASIC一旦制造完成将不能更改，因此具有开发成本高、周期长、门槛高等问题。

4. SoC

SoC(System on Chip)是系统级芯片，一般是将中央处理器、存储器、控制器、软件系统等集成在单一芯片上，通常是面向特殊用途的指定产品，如手机SoC、电视SoC、汽车SoC等。系统级芯片能降低开发和生产成本，相比于ASIC芯片，其开发周期短，因此更加适合量产商用。

5. 类脑芯片

类脑芯片(Brain-Inspired Chip)是仿照人类大脑的信息处理方式，打破了存储和计算分离的架构，实现了数据并行传送、分布式处理的低功耗芯片。在基于冯·诺依曼结构的计算芯片中，计算模块和存储模块分离处理从而引入了延时及功耗浪费。类脑芯片侧重于仿照人类大脑神经元模型及其信息处理的机制，利用扁平化的设计结构，从而在降低能耗的前提下高效地完成计算任务。

🚀 获取更多中文资料可点击链接进群领取，谢谢支持！👇

不知道人工智能如何学习？不知道单片机如何运作？不知道嵌入式究竟是何方神圣？搞不清楚什么是物联网？遇到问题无人可问？来我的绿泡泡交流群吧！里面有丰富的人工智能资料，帮助你自主学习人工智能相关内容，不论是基础的Python教程、OpenCV教程以及机器学习等，都可以在群中找到；单片机毕设项目、单片机从入门到高阶的详细解读、单片机的一系列资料也备好放入群中！关于嵌入式，我这里不仅仅有嵌入式相关书籍的电子版本，更是有丰富的嵌入式学习资料，100G stm32综合项目实战提升包，70G 全网最全嵌入式&物联网资料包，嵌入式面试、笔试的资料，物联网操作系统FreeRTOS课件源码！群内高手云集，各位大佬能够为您排忧解难，让您在学习的过程中如虎添翼！扫码进群即可拥有这一切！还在等什么？赶快拿起手机，加入群聊吧！

点击免费领取更多资料