必要性论证：将FPGA深入应用于基于CPU、CPU+GPU的人形机器人控制系统

目录：

0 前言

1 需求侧的基本事实

1.1 实用化的人形机器人的控制系统必须实现感算控一体

1.2 感算控环路必须具备强实时性（低延迟量+低延迟抖动量）

1.3 感知环节必须以高帧率+高分辨率、在多个位置+多个方向并行采集人形机器人本体、环境、任务对象的多种信息

1.4 强实时性的感算控环路要求控制系统必须具备大量强实时性的并行算力

1.5 强实时性的感算控环路要求控制系统必须具备大量强实时性的模块之间、芯片之间、板卡之间、设备之间的高带宽通信路径

2 供给侧的基本事实

2.1 基于CPU的体系结构不具备大量强实时性的并行算力

2.2 CPU运算核心不具备强实时性的、高带宽的多通道对外通信能力

2.3 基于CPU+GPU的体系结构在实时性方面存在短板

2.4 FPGA具备大量强实时性的并行算力并且能够实现复杂的非规整算法

2.5 FPGA具备强实时性的、高带宽的多通道内/外通信能力

3 在基于CPU的实用化人形机器人控制系统中深入应用FPGA的必要性

3.1 论证1：仅采用CPU的架构，不可能满足实用化人形机器人的要求

3.2 论证2：在基于CPU的实用化人形机器人控制系统中深入应用FPGA的必要性

3.3 参考：在基于CPU的实用化人形机器人控制系统中深入应用FPGA的框架设计

4 在基于CPU+GPU的实用化人形机器人控制系统中深入应用FPGA的必要性

4.1 论证1：仅采用CPU+GPU的架构，不可能满足实用化人形机器人的要求

4.2 论证2：在基于CPU+GPU的实用化人形机器人控制系统中深入应用FPGA的必要性

4.3 参考：在基于CPU+GPU的实用化人形机器人控制系统中深入应用FPGA的框架设计

4.4 关于将FPGA作为强化学习网络推理、大模型推理的物理载体

5 在实用化人形机器人研发流程中深入应用FPGA技术的流程图

6 结论

-----------------------------

正文：

0 前言

2023年11月，工信部发布了《人形机器人创新发展指导意见》，针对人形机器人功能提出了实用化的需求，其特征是：

能够应对真实场景下的复杂环境与任务，能够应对突发情况。

笔者基于这一需求，在一年多时间内发布了多篇技术文档（请参阅：林伟：一个资深FPGA工程师在人形机器人领域的技术创作汇总），为在人形机器人控制系统中深入应用FPGA提供了框架设计、研发工作流程。

在这些文档中，对于在人形机器人控制系统中深入应用FPGA的必要性着墨不多 -- 笔者认为这是不言自明的 -- 这的确是一个严重的失误。

所以，本文将弥补这个失误：

针对基于CPU、CPU+GPU的人形机器人控制系统，以基本事实（人形机器人的功能、性能需求，CPU、GPU、FPGA的功能、性能供给）为基础，进行简明的逻辑推理，论证在人形机器人控制系统中深入应用FPGA的必要性。

笔者希望以此：

协助业内人士针对这一技术思路建立清晰的认知，促使FPGA尽快深入应用于人形机器人研发实践。

1 需求侧的基本事实

1.1 实用化的人形机器人的控制系统必须实现感算控一体

区别于工业机器人基于示教的、轨迹固定的运动控制模式，实用化的人形机器人控制系统必须实现感算控一体，简化地说就是：

A1（感知） 自主感知本体、环境、任务对象的状态；

A2（运算） 自主根据A1的感知结果、以完成预设的任务为目标、决策下一步的行为；

A3（运算） 自主将行为转化为运动规划；

A4（运算） 自主将运动规划方案转化为各关节电机的运动控制方案；

A5（控制） 自主实现对各关节电机的控制，使人形机器人各肢节按照运动规划的结果在四维时空中完成运动，以各肢节的动作配合而完成预设的任务。

并且，在A1~A5的执行过程中，整个循环可能需要（在时变的本体、环境、任务对象的状态下）执行多次才能实现预定任务，各次循环在时间上可能存在重叠。

1.2 感算控环路必须具备强实时性（低延迟量+低延迟抖动量）

实用化的人形机器人必须应对各种突发、紧急的情况，例如控制自身跌倒的过程以免伤害人类及自身、救助正在跌倒（或面临其他危险）的人类、保护面临破坏的重要物品 ............

在非紧急状态下，人形机器人对环境、任务对象信息的反应速度，也将直接决定其工作效率，进而决定其市场竞争力。

即，实用化的人形机器人的感算控环路必须具备强实时性：

从采集信息到输出控制信号、完成任务，其延迟必须被控制在很低的程度，延迟的抖动量必须被控制在很低的程度。

具体需要延迟有多低？</