什么是AI芯片？ 阅读笔记

1. 原文连接

【科普】什么是AI芯片？-硬件十万个为什么

2. 阅读笔记

2.1 背景

AI的三大关键基础要素：

• 数据是AI算法的“饲料”
• 算法是AI的背后“推手”
• 算力是基础设施

算力源于芯片，通过基础软件的有效组织，最终释放到终端应用上，作为算力的关键基础，AI芯片的性能决定着AI产业的发展。

不同类型的芯片所擅长的领域不同

AI运算指以“深度学习” 为代表的神经网络算法，需要系统能够高效处理大量非结构化数据（ 文本、视频、图像、语音等） 。

需要硬件具有高效的线性代数运算能力，计算任务具有：单位计算任务简单，逻辑控制难度要求低，但并行运算量大、参数多的特点。

对于芯片的多核并行运算、片上存储、带宽、低延时的访存等提出了较高的需求。

针对不同应用场景，AI芯片还应满足：对主流AI算法框架兼容、可编程、可拓展、低功耗、体积及价格等需求。

2.2 AI芯片对比

【AI芯片包括：GPU、FPGA、ASIC、类脑芯片】

• GPU 通用性强、速度快、效率高，特别适合用在深度学习训练方面，但是性能功耗比较低。
• FPGA 具有低能耗、高性能以及可编程等特性，相对于 CPU 与 GPU 有明显的性能或者能耗优势，但对使用者要求高。
• ASIC 可以更有针对性地进行硬件层次的优化，从而获得更好的性能、功耗比。但是ASIC 芯片的设计和制造需要大量的资金、较长的研发周期和工程周期，而且深度学习算法仍在快速发展，若深度学习算法发生大的变化，FPGA 能很快改变架构，适应最新的变化，ASIC 类芯片一旦定制则难于进行修改。

2.2.1 Why CPU can’t

优点：CPU有大量的缓存和复杂的逻辑控制单元，非常擅长逻辑控制、串行的运算

缺点：不擅长复杂算法运算和处理并行重复的操作。

2.2.2 GPU (GraphicsProcessing Unit)

GPU有一定的局限性。深度学习算法分为训练和推断两部分， GPU 平台在算法训练上非常高效。但在推断中对于单项输入进行处理的时候，并行计算的优势不能完全发挥出来。

优点：

1. 提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算
2. 拥有更高的浮点运算能力
3. 相对于FPGA开发更加简单。

缺点：

1. 管理控制能力（最弱）
2. 功耗（最高）。

2.2.3 FPGA（Field Programmable Gate Array）

优点：

1. 可以无限次编程，延时性比较低，同时拥有流水线并行和数据并行（GPU只有数据并行）、实时性最强、灵活性最高。
2. FPGA可同时进行数据并行和任务并行计算，在处理特定应用时有更加明显的效率提升。对于某个特定运算，通用 CPU可能需要多个时钟周期，而 FPGA 可以通过编程重组电路，直接生成专用电路，仅消耗少量甚至一次时钟周期就可完成运算。
3. 由于FPGA的灵活性，很多使用通用处理器或 ASIC难以实现的底层硬件控制操作技术， 利用 FPGA 可以很方便地实现。这个特性为算法的功能实现和优化留出了更大空间。
4. FPGA 一次性成本(光刻掩模制作成本)远低于ASIC，在芯片需求还未成规模、深度学习算法暂未稳定， 需要不断迭代改进的情况下，利用 FPGA 芯片具备可重构的特性来实现半定制的人工智能芯片是最佳选择之一。
5. 功耗方面，从体系结构而言， FPGA 也具有天生的优势。传统的冯氏结构中，执行单元(如 CPU 核)执行任意指令，都需要有指令存储器、译码器、各种指令的运算器及分支跳转处理逻辑参与运行， 而FPGA每个逻辑单元的功能在重编程(即烧入)时就已经确定，不需要指令，无需共享内存，从而可以极大的降低单位执行的功耗，提高整体的能耗比。

缺点：

1. 开发难度大
2. 只适合定点运算
3. 价格比较昂贵

2.2.4 ASIC（Application Specific IntegratedCircuit）

目前以深度学习为代表的人工智能计算需求，主要采用GPU、FPGA等已有的适合并行计算的通用芯片来实现加速。在产业应用没有大规模兴起之时，使用这类已有的通用芯片可以避免专门研发定制芯片(ASIC)的高投入和高风险。
GPU先天缺陷和FPGA的通用无用。
但是随着规模的扩大，ASIC的成本会低于FPGA。

追求性价比。

优点:它作为集成电路技术与特定用户的整机或系统技术紧密结合的产物，与通用集成电路相比具有体积更小、重量更轻、 功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点。

缺点：灵活性不够，通用性不够。

主要性能指标：功耗、速度、成本

2.2.5 类脑芯片

开句玩笑：人类可以想出比人脑更加优秀的AI芯片模型吗？人类有想象力吗？

类脑芯片不采用经典的冯·诺依曼架构， 而是基于神经形态架构设计，以IBM Truenorth为代表。IBM 研究人员将存储单元作为突触、计算单元作为神经元、传输单元作为轴突搭建了神经芯片的原型。

3. 所思所想

使用何种芯片说到底就是在极致性价比下追求通用和专用的平衡艺术。通用意味着部分无用，专用意味着无法灵活

在这种民用的技术需要赶超只能弯道超车，军用的却可以追赶，因为知识产权和市场垄断。

一种技术的理论在提出来时，可能会面临现实的局限（成本，技术，良品率），但是在未来如果你实现了局限的突破，那你就比较方便实现弯道超车，上一个技术的引领者因为自身的惯性和阻力，比较难进行快速的调整。