室联人形机器人：家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计（整合版）

目录：

0 引言

1 人形机器人对室内家政服务任务的结构化

1.1人形机器人在室内家政服务中的比较优势

1.1.1 人形机器人拟人性的7个维度

1.1.2 拟人性在室内家政服务工作中的比较优势

1.1.3 潜在的重要用户：宠物爱好者

1.2 居所室内环境的特征与结构化

1.2.1 室内空间的物理参数友好

1.2.2 居所具备较好的结构化潜力

1.2.3 居所结构化的思路

1.3 基于任务对象结构化程度的室内家政任务分类

1.3.1 面向结构化/准结构化对象的基础家政任务

1.3.1.1 使用自动化终端设备的基础家政任务

1.3.1.2 基于局部结构化被动平台的基础家政任务

1.3.1.3 基于局部准结构化被动容器的基础家政任务

1.3.1.4 操作局部结构化被动运动部件的基础家政任务

1.3.2 面向非结构化对象的复杂家政任务

2 人形机器人执行基础家政任务过程中的技术要点

2.1 入户初始化：参数化标定居所内的对象

2.1.1 居所参数初始化

2.1.2 任务对象参数初始化

2.1.3 居室子区域、任务对象图像的初始化

2.2 人形机器人执行一次任务的技术过程推演：用洗衣机洗衣服

2.2.1 过程推演

2.2.2 技术要点：充分运用居所基础信息表

2.2.3 技术痛点：实时更新居所基础信息表

2.3 人形机器人入户服务的最大痛点：安全性

2.3.1 自主行动导致安全风险

2.3.2 被动干扰导致安全风险

2.3.3 意外跌倒导致安全风险

2.3.4 部件失能导致安全风险

3 深入应用FPGA的室联人形机器人控制系统框架设计

3.1 特斯拉Optimus-Gen2人形机器人的硬件系统配置

3.1.1 电机

3.1.2 传感器

3.2 设计思路

3.2.1 深入应用FPGA的人形机器人控制系统设计思路

3.2.1.1 基本设计思路

3.2.1.2 系统层面

3.2.1.3 感知环节

3.2.1.4 运算环节

3.2.1.5 控制环节

3.2.2 室联人形机器人控制系统设计思路

3.2.2.1 将部分感知设备移到各居室的天花板

3.2.2.2 将部分算法、管理子系统卸载到外置机箱

3.2.2.3 添加语音收发模块、用于连接居家口语大模型服务器的通信接口

3.2.3 分色表述的绘图风格

3.3 深入应用FPGA的室联人形机器人控制系统框架设计

3.3.1 系统整体设计

3.3.1.1 系统框图

3.3.1.2 基于FPGA解决Optimus-Gen2灵巧手腕部走线困境

3.3.1.2.1 Optimus-Gen2灵巧手腕部的走线困境

3.3.1.2.2 解决方案

3.3.1.2.3 待确认的问题：布线、电磁兼容、散热

3.3.1.2.4 将这一布局方式拓展到肩部、髋部

3.3.1.3 关于内置CPU硬核的FPGA（SOC）

3.3.2 管理子系统（橙色）

3.3.2.1 FPGA所涉系统管理信息的收发

3.3.2.2 运算CPU、用户设备的管理

3.3.2.3 世界时时标的建立与分发

3.3.2.4 同步信号序列的生成与分发

3.3.2.5 世界时时钟源失效后的时间保持

3.3.3 感知子系统（浅蓝色）

3.3.3.1 室联感知

3.3.3.2 感知设备及其驱动、信息接收与解算

3.3.3.3 传感器信息预处理、初级的传感器融合

3.3.3.4 数据处理过程与世界时时标的同步

3.3.3.5 关于自研传感器

3.3.4 运算子系统（红色）

3.3.4.1 运算CPU

3.3.4.1.1 运算CPU工作周期

3.3.4.1.2 执行传感器融合上层算法以及对环境、本体、工作目标的实时建模

3.3.4.1.3 运动规划

3.3.4.1.4 将运算任务卸载给FPGA中的协处理模块

3.3.4.1.5 深入应用FPGA技术为高层次算法的前沿探索提供助力

3.3.4.2 关节运动轨迹点插值

3.3.4.3 FPGA对运算CPU算法任务的协处理

3.3.4.3.1 基础/通用运算任务的协处理

3.3.4.3.2 专项业务运算任务的协处理

3.3.4.3.3 “真空球形鸡”之辩

3.3.5 控制子系统（绿色）

3.3.5.1 电机控制算法通道

3.3.5.2 电机抱闸

3.3.6 芯片间数据实时传输子系统（深蓝色）

3.3.6.1 PCIe总线

3.3.6.2 FPGA片内数据调度中心

3.3.6.3 FPGA片间全双工串行直连接口

3.3.6.4 射频通信二级子系统

3.3.7 语音收发子系统（含大模型下传指令解析功能）（棕色）

3.3.8 关于居家口语大模型的服务器、预训练语料

3.3.9 加速基于大模型的端到端具身智能控制算法的实用化进程

3.3.10 多“人”协作模式

4 将框架设计与《流程图》相结合

4.1 一体两面

4.2 框架设计在《流程图》中的位置

4.3 笔者能力短板导致的缺憾

4.4 特斯拉人形机器人Optimus-Gen2信息的帮助

4.5 对研发单位的建议

5 将框架设计“泛化”到其他领域

6 结语：行动最重要

声明：

1 本文篇幅较长（正文三万四千字），第1、2、3节内容的独立性较强，建议读者对照目录、根据自己的兴趣选阅。

2 本文在笔者的文章 林伟：室联人形机器人：家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计（2024年6月4日发布） 的基础上，整合了其中引用的文章 林伟：在实用化人形机器人控制系统中深入应用FPGA的框架设计（基于特斯拉Optimus-Gen2的硬件系统）（2024年3月31日发布） 的大部分内容并重新安排章节序号，使前者的内容完整、成为一个可以独立成篇的技术文档，以便于读者阅读。进而，文章中整合了笔者的一篇知乎回答 人形机器人何时会使用端到端大模型进行动作控制？ （2024年12月1日发布）的内容。如果读者已经掌握了以上三篇文档的内容，建议仅阅读这篇文档的第3.3.1.1、3.3.4.1.2节。

3 本文由笔者（并非人形机器人业内人士）在多方学习的基础上独立创作。限于检索资料的范围，除了特殊声明之处，笔者不声称所述技术思想是本人原创。任何先于本文公开发布的、与本文部分内容相同或相近的技术信息的原创者，享有更优先的知识产权。

4 请读者从实用主义的角度看待本文所述技术思想，若有想法/问题/质疑，欢迎留言/私信/微信（见文末）交流。

正文：

0 引言

近期关于人形机器人应用场景的讨论非常热烈，反对者的观点是：

人形机器人由于工作在非结构化场景中、处理非结构化任务、需要应对突发情况、当前尚未深入研究其安全性及对策、机体内部有效容积小且分成几块、很多情况下可以由AGV/轮足车+机械臂（例如波士顿动力的stretch）予以替代等因素，在几年之内不可能找到适合的应用场景。

笔者的本行是底层技术（FPGA应用研发），但自2017年起一直关注机器人、人形机器人领域，近期在知乎发布了两篇技术文档：林伟：在实用化人形机器人研发流程中深入应用FPGA技术的流程图（版本A）（基于工信部《人形机器人创新发展指导意见》）（参考资料10）（以下简称《流程图》）、林伟：在实用化人形机器人控制系统中深入应用FPGA的框架设计（基于特斯拉Optimus-Gen2的硬件系统）（参考资料11），并将其在业内广为推介。

本文拟就上述观点阐述一些应对思路，进而以此为基础，结合上述两篇技术文档提出一个进阶技术方案，以期协助人形机器人行业的潜在投资者理清思路、看到希望，促进更多资源投入到本文关注的技术领域，助力人形机器人尽快走向实用。

基本思路：

人形机器人的根本特征是拟人性，拟人性导致的亲和力使其适合用于室内家政服务。

室内家政服务的环境、任务对象具备一定程度的结构化特征，导致将人形机器人应用于这一场景在技术上具备可行性。

以居所基础信息表为核心，将居所及其内部家具、家电在宏观层面上参数化，从而将人形机器人的非结构化宏观任务切分为更易实现的局部子任务。据此举例、梳理将人形机器人应用于室内基础家政服务过程中的技术要点，提供参考流程。

针对入室服务的高安全性需求，借鉴车路协同汽车自动驾驶系统将大量传感器布置在路侧以提供全局视野、用路侧运算模块分担车侧的算力与功耗压力的思路，提出了室联人形机器人的概念。

基于这一概念，结合《流程图》的内容，针对实用化人形机器人的控制系统，以深入应用FPGA技术、室联感知为指导思想做了一个框架设计，提供一个具象化的设计实例、参考技术方案，协助各研发团队及相关决策者深入了解这一技术思路及其价值。

在框架设计中引入了语音收发子系统，就居家口语大模型的部署方式及其安全性提供了参考意见。

阐述了基于这一框架设计、用FPGA加速基于大模型推理的端到端具身智能人形机器人控制算法的思路。

进而，笔者希望读者将这个框架设计与《流程图》结合起来进行分析、思考，希望：

进一步降低将FPGA深入应用于人形机器人在纯粹技术维度上的门槛；

助力更多正在人形机器人领域参与竞争的团队 -- 及时做出实质性决策，及时将更多资源分配到深入应用FPGA技术这一竞争维度。

[注1：本文所说的“深入”应用FPGA，是相对于已有的、将FPGA应用于工业机器人伺服电机的驱动及反馈控制（可能也用于实现关节轨迹点插值）的方案而言的。大约在9年前，采用此类方案的工业机器人产品就已经面世（更多信息请参阅参考资料7）。]

[注2：本文用居所指代整套房子；用居室指代房子中的一个房间，包括门厅、厨房、洗手间等]

1 人形机器人对室内家政服务任务的结构化

1.1人形机器人在室内家政服务中的比较优势

1.1.1 人形机器人拟人性的7个维度

拟人性，是人形机器人区别于其他类型机器人的根本特征。

笔者于2021年1月在知乎发布了文章 林伟：韩国现代，波士顿动力的真命天子（参考资料12），其中将 “拟人性” 划分为6个维度。本文以此为基础，归纳了人形机器人拟人性的7个维度：

身体结构像人、运动模式像人、动作姿态像人、可见器官像人、面部表情像人、交流内容像人、安全性像人。

1.1.2 拟人性在室内家政服务工作中的比较优势

如众多网络文章中述及的，人类的生活环境（尤其是居家环境）是针对人类的身体特征而设计的，身体结构、运动模式像人的人形机器人在家政服务应用场景下较非人形机器人更具适应性。

进而，当一个人形机器人在拟人性的上述7个维度都做得很像人（以下称之为 “高拟人度人形机器人”），对于一部分人类个体来说，它将不再是一个冷冰冰的工具，更像是一个同类、一个服务人员，从而更具亲和力。

这种亲和力，是高拟人度人形机器人在服务这类人的细分市场中相对于非人形机器人的比较优势。

1.1.3 潜在的重要用户：宠物爱好者

一般来说，喜欢宠物甚至将宠物视为家庭成员的人，心理上更倾向于接受、认同新加入的家庭成员。将宠物爱好者作为一个人群，对比于上述可能将高拟人度人形机器人视为一个同类、一个服务人员的人群，两者之间的重合程度很可能足够高，以至于具有商业价值。

[本小节的思路系笔者的直观推测。建议关注其商业价值的业内公司/投资者委托专业机构进行评估。]

1.2 居所室内环境的特征与结构化

1.2.1 室内空间的物理参数友好

居室内空间中的光照情况比较稳定，受日光影响较少，并且没有雨雪风沙等天气因素的干扰，温度、湿度也相对稳定。工作于其中的人形机器人的感知系统，在同等成本下能够以显著高于室外环境的可靠性、精度实现对环境的感知；工作于其中的射频通信系统，也将不必考虑各种极端天气的影响。

1.2.2 居所具备较好的结构化潜力

居所的居室布局千变万化，居室内的家具、家电的布置方式千变万化，由此导致室内家政服务人形机器人面对的是非结构化的应用场景。

然而，居所、家具、家电都是工业制成品，为了便于制造及运输，其中大多数的主体形状是长方体、圆柱体以及它们的变形体的组合（包括正-负组合），致使由这些近规则体构成的家庭室内环境可以在很大程度上由人形机器人的控制系统在宏观层面上予以结构化。

1.2.3 居所结构化的思路

分析各居室内图像及点云、提取简单的点/线/面/棱/拐角/顶角，量化分析这些几何元素在空间中的形/位参数，再以手动标注或自动识别（基于CNN或专业大模型）的方式，将这些几何元素与居所布局、居室结构、家具及家电的外形轮廓实现对应，建立居所内自顶（居所）向下（家具、家电）的分层立体几何模型；进而建立针对各居室及室内/室间对象的、全居所统一的、可以作为自顶（居所）向下（任务目标子区域）进行任务切分的依据的宏观结构化模型。

1.3 基于任务对象结构化程度的室内家政任务分类

1.3.1 面向结构化/准结构化对象的基础家政任务

在需要人形机器人执行的家政任务中，很大一部分的任务对象具备结构化/准结构化特征，从而使这类任务的执行过程能够被以（相较于面向非结构化对象的任务）更少的成本予以设计、实现。

本文将这些任务称为基础家政任务，以下予以分述。

1.3.1.1 使用自动化终端设备的基础家政任务

自动化终端设备，是指洗衣-甩干机、洗碗机、烘干机、电冰箱/柜、微波炉、烤箱、电饭煲、空气炸锅、榨汁机、空调、吸尘器、扫地机器人、电热/太阳能淋浴器、电动窗帘、擦鞋机等家用电器。

功能特征：用内置的、专业化的、电动的终端机构完成某种具体的家务，对外仅提供以 “傻瓜化操作” 为目标而设计的（否则卖不出去）的用户操作接口，非常适合由人形机器人操作（勿怒，无意diss）。

结构特征：外壳形状相对固定，整体姿态相对固定，操作接口在外壳上的位置固定。

其在居所中的位置相对固定（即使移动了也较易识别）、占据的空间区域相对固定，连同功能特征参数、结构特征参数一起，能够被人形机器人控制系统（借助各种传感器）以量化方式予以实时标定、实时更新。

使用自动化终端设备的家政任务：以基于现场感知的反馈控制方式从其外形上定位上述用户操作接口、对其执行操作，将待处理的任务对象投入这些设备的进料口，或者将设备与任务对象按预定义的方式对接，再依照固定的时序流程（可能需要从多个流程中做出选择）按动操作接口中的按钮，由这些设备自动完成任务，再将设备中经处理的任务对象由设备出料口（可能复用进料口）取出，或者将设备与任务对象的对接状态复归为执行任务之前的状态。

1.3.1.2 基于局部结构化被动平台的基础家政任务

局部结构化被动平台，是指桌面、床面、灶台面、切菜板面、地面、墙面、天花板等用于承载任务对象的空旷平面。

这些平面的在居所中的位置、占据的空间区域相对固定，姿态相对固定（多为水平或与地面垂直），表面色彩、纹理相对固定且具备一定程度的规律性，能够被人形机器人控制系统（借助各种传感器）以量化方式予以实时标定、实时更新。

在这类平台上放置、悬挂的任务对象在人形机器人传感器（光学/红外线传感器、RGBD传感器、激光雷达等）的视野中，都表现为处于一个相对空旷的局部平面中，工作目标物作为分析对象更容易从包含背景、平台的图像/点云中被分割出来，从而减少家政任务执行算法的设计工作量，或（/和）减少针对局部任务的端到端神经网络训练的工作量。

特斯拉Optimus-Gen2叠衣服的视频，演示的就是这种应用场景（链接：马斯克展示机器人“擎天柱”叠衣服：还不能自主执行，但未来肯定可以_哔哩哔哩_bilibili）。

1.3.1.3 基于局部准结构化被动容器的基础家政任务

局部准结构化被动容器，是指电冰箱/柜、碗柜、书柜、衣柜、鞋柜、洗涤槽、洗手盆、坐便器等具备结构化外形或（/和）内部结构的容器。

这类容器的在居所中的位置、占据的空间区域相对固定，姿态相对固定，其内部空间、内部隔间的结构参数也基本固定，并且能够被人形机器人控制系统（借助各种传感器）以量化方式予以实时标定、实时更新。

人形机器人以基于现场感知的反馈控制方式向这类容器中放置/投入工作目标物、从这类容器中移出工作目标物，都表现为对一个准结构化的空间进行操作（参考资料13），任务对象作为被分析的目标更容易从包含背景、容器的图像/点云中被分割出来，从而减少家政任务执行算法的设计或（/和）端到端神经网络训练的工作量。

当然，推而广之，整个房间乃至整套居所，基于第1.2.2节所述的方法，都可以被人形机器人控制系统视为一个全局结构化的大容器。

1.3.1.4 操作局部结构化被动运动部件的基础家政任务