新书推荐 |《当计算机体系结构遇到深度学习：面向计算机体系结构设计师的深度学习概论》...

新书推荐

《当计算机体系结构遇到深度学习：面向计算机体系结构设计师的深度学习概论》

长按二维码
了解及购买

计算机体系结构新黄金时代赋能深度学习革命的入门书。

基于美国哈佛大学在深度学习和体系结构领域的长期研究和实践经验。

全面介绍深度学习的发展、评测和优化的最新研究成果，帮助读者掌握深度学习体系结构的精髓。

编辑推荐

机器学习，特别是深度学习，在计算机科学的许多领域都具有巨大的颠覆性。深度学习技术在解决众所周知很困难的分类和回归问题方面取得了成功，这使得该技术迅速应用于解决现实问题。深度学习的兴起主要归因于一个良性循环，即通过采用大规模数据集和高性能计算机硬件，从而在训练更深层模型方面取得根本性的进步。

本书是计算机体系结构设计师在深度学习这个快速发展的新领域的入门读物，作者均来自美国高等教育顶级学府哈佛大学。书中首先介绍机器学习自20世纪60年代起步以来的发展历程，并跟踪了导致过去十年中出现强大的深度学习技术的关键性发展历程。然后，回顾了代表性的工作负载，包括各种领域中常用的数据集和开创性的神经网络。除了讨论工作负载本身以外，本书还详细介绍了颇受欢迎的深度学习工具，并展示了有抱负的从业者如何使用工具与工作负载来表征和优化DNN。

本书的其余部分致力于介绍如何设计和优化专门用于机器学习的硬件和体系结构。由于高性能硬件在帮助机器学习成功地成为实用解决方案方面发挥了重要作用，因此这部分内容对近年来提出的各种优化方法进行了重新梳理，以便进一步改进未来的设计。在末尾，本书回顾了该领域新近发表的研究文献并对其进行分类，帮助读者理解各种贡献的背景和意义。

内容简介

深度学习技术在真实应用（例如图像分类、语音识别、自动翻译等领域）取得巨大成功，得益于海量数据集和高性能硬件的出现，特别是利用高性能硬件的体系结构特点，对深度神经网络模型进行软硬件联合设计和优化，将是未来深度学习领域出现重大突破的关键。由于深度学习体系结构研究仍然处于迅猛发展的阶段，缺少针对该领域提纲挈领性的参考书籍，本书的出现正好弥补了这部分空白。这本从体系结构视角研究深度学习的导论性图书将帮助读者入门深度学习体系结构。

本书分为四大部分。第一部分首先介绍神经网络的基本知识和发展历程，从线性回归到感知器，以及当前最先进的深度神经网络。第二部分主要针对当前流行的深度学习软件的设计异同进行深入介绍，指导读者针对他们的应用选择最正确的软件。第三部分对利用定制化硬件加速神经网络的体系结构进行了探索，特别是针对Minerva加速器设计和优化框架，具体介绍了Minerva方法论以及如何设计实验在神经网络准确度、功耗、性能和硬件面积间进行取舍。本书最后给出神经网络论文中有关硬件研究的全面综述，并且提出一种分类方法帮助读者理解和对比不同的研究项目。

作者简介

布兰登•里根（Brandon Reagen）

哈佛大学博士生。他于2012年获得马萨诸塞大学阿默斯特分校计算机系统工程和应用数学专业的学士学位，并获得了哈佛大学计算机科学专业的硕士学位。他的研究涉及计算机体系结构、VLSI和机器学习领域。

罗伯特•阿道夫（Robert Adolf）

哈佛大学计算机体系结构的博士生。他于2005年从美国西北大学获得计算机科学专业学士学位，此后他就职于国防部，从事超级计算机基准测试和性能分析工作4年。研究兴趣是高性能软件的建模、分析和优化技术，目前主要关注深度学习算法。

保罗•沃特莫 （Paul Whatmough） 

领导马萨诸塞州波士顿ARM研究院的机器学习计算机体系结构研究。他还是哈佛大学工程与应用科学学院副教授。他在英国伦敦大学学院获得博士学位。研究兴趣包括算法、计算机体系结构和电路。

古杨•魏（Gu-Yeon Wei）

哈佛大学工程与应用科学学院（SEAS）电子工程与计算机科学系Gordon McKay教授。他在斯坦福大学获得博士学位。研究兴趣涉及计算机系统的多个层次：混合信号集成电路、计算机体系结构和高效硬件设计工具等。

大卫•布鲁克斯（David Brooks）

哈佛大学工程与应用科学学院计算机科学系Haley Family教授。在加入哈佛大学之前，他是IBM T.J.Watson研究中心的研究人员。研究兴趣包括针对高性能和嵌入式系统的弹性和高能效的计算机硬件和软件设计。

译者简介

杨海龙

博士，北京航空航天大学计算机学院助理教授，中国计算机学会体系结构专委会委员。在ISCA、ASPLOS、TOCS、TPDS、ICS等国际顶级/知名会议和期刊上发表学术论文20余篇。主要研究方向为深度学习系统优化、高性能计算性能分析工具、大数据系统性能分析与优化、云计算资源管理和任务调度、高吞吐计算、GPU并行编程与优化。在北京航空航天大学讲授留学生课程“Parallel Programming”和“Computer Architecture”。

王锐

博士，北京航空航天大学计算机学院特别研究员。中国计算机学会体系结构专委会委员。在IEEE TCAD、ACM TAAS、ACM/IEEE CGO、ACM ICS、USENIX ICAC等著名期刊和会议发表论文30余篇，其中ACM/IEEE CGO 2014的论文被提名最佳论文奖。主要研究工作集中在智能计算加速处理器体系结构与系统软件以及众核处理器编程方法。在北京航空航天大学讲授留学生课程“Computer Architecture”。

目录

译者序

前言

作者简介

第1章　引言/ 1

1.1　神经网络的兴起和衰落/ 2

1.2　第三波人工智能热潮/ 4

1.3　深度学习中硬件的角色/ 7

第2章　深度学习基础/ 11

2.1　神经网络/ 12

2.1.1　生物神经网络/ 12

2.1.2　人工神经网络/ 14

2.1.3　深度神经网络/ 18

2.2　神经网络学习/ 19

2.2.1　神经网络学习的类型/ 21

2.2.2　深度神经网络如何学习/ 22

第3章　方法和模型/ 31

3.1　高级神经网络方法概述/ 32

3.1.1　模型体系结构/ 32

3.1.2　特殊化的层/ 36

3.2　现代深度学习的参考工作负载/ 37

3.2.1　深度学习工作负载集的标准/ 37

3.2.2　Fathom工作负载/ 40

3.3　深度学习背后的计算原理/ 44

3.3.1　深度学习框架的测量与分析/ 44

3.3.2　操作类型评测/ 46

3.3.3　性能相似度/ 48

3.3.4　训练和推理/ 49

3.3.5　并行和操作平衡/ 51

第4章　神经网络加速器优化：案例研究/ 55

4.1　神经网络和简单墙/ 57

4.2　Minerva：一种跨越三层的方法/ 60

4.3　建立基准：安全的优化/ 63

4.3.1　训练空间探索/ 63

4.3.2　加速器设计空间/ 66

4.4　低功耗神经网络加速器：不安全的优化/ 70

4.4.1　数据类型量化/ 70

4.4.2　选择性操作修剪/ 72

4.4.3　SRAM故障缓解/ 74

4.5　讨论/ 79

4.6　展望/ 81

第5章　文献调查和综述/ 835.1　介绍/ 84

5.2　分类法/ 84

5.3　算法/ 86

5.3.1　数据类型/ 87

5.3.2　模型稀疏性/ 89

5.4　体系结构/ 92

5.4.1　模型稀疏性/ 95

5.4.2　模型支持/ 98

5.4.3　数据移动/ 105

5.5　电路/ 108

5.5.1　数据移动/ 109

5.5.2　容错/ 112

第6章　结论/ 115

参考文献/ 117

你与世界

只差一个

公众号