面向人工智能新特性的计算系统设计讲座笔记

本文基于：上海交通大学 过敏意教授 2020-5-18 ”面向人工智能新特性的计算系统设计“ 讲座，以记录学习为目的。若侵权，立删除。

1 TPU = 3 GPU = 1000 CPU

David Patterson：A New Golden Age for Computer Architecture

1、常见人工智能模型的计算特性

模型计算量大、模型存储量大、计算模式单一

（建立在采用的模型单一前提下？）
Google TPU、华为昇腾等

2、新的计算特性及其挑战

算法迭代更新、模型黑盒特性、模型稀疏特性

3、快速迭代模型与架构固化的矛盾

比如对图片识别的卷积、全连接的专用架构，但随着算法更新：比如语义分割、实例分割等便会出现不适应。
专用架构的灵活性确实使得其无法应对不断涌现的新型混合型神经网络模型

解决方案：

• 多模态架构——专用与通用架构融合
  硬件资源复用、异步执行与显式同步的粗粒度指令、上述指令模式使得GPU原有通用架构和专用架构进行了解耦。

• 架构融合的其他应用（专用与专用的融合）
  <