具身智能技术趋势

参考：
【北京大学-董豪】具身智能技术趋势分析 2024.8

回答了具身智能技术G3、G4的必要性，以及真实数据、仿真数据、互联网数据之间的关系

具身智能趋势

趋势：寻求一个通用路径实现所有的上肢操作
要求：① 低成本 ② 拓展到所有操作任务
感觉一句话概括就是：所有物体实现所有操作

以抓取为例，使用仿真合成的技术，把3D模型导入环境里面，把场景也导入到虚拟环境里，可以合成海量的一些数据。

通过仿真学习——抓取位姿 VS 通过实采采集——端到端方法

仿真：静态任务，传统规控
实采：动态任务，闭环策略（类人），成本更高

趋势：仿真——端到端采集轨迹

仿真瓶颈：① 大量操作难以在仿真合成 ② 物理Sim2real难以解决 ③ 很多物理仿真速度远慢于实采速度

存在一个数据金字塔

问题就是如何找到一个通用路径既能实现低综合成本，又能拓展到所有的操作任务

自动驾驶和机器人获取数据来说，自动驾驶容易，机器人对于Corner cases难以仿真（视觉+物理）


如何用数据：真实数据A 仿真数据B 互联网数据C
① A：只用A，需要寻求低成本获取真实数据的方法
② B：只用B，涉及一些简单的场景可以，但是如果涉及到物理属性，效果比较差
③ C：只用C，肯定不行，映射不到现实场景
④ A && B：真实数据和仿真数据做一个结合，需要考虑如何结合，对齐数据
⑤ 未来就是什么数据都用，数据都有用，只不过是有多大用

分析数据的维度（3个）
一、成功率

互联网数据规模大，但是操作能力体现不出来，仿真数据会到达一个瓶颈，这个瓶颈不是数据量，而是物理仿真，可以对仿真数据做一些泛化，数据增广，加一些纹理，问题就是成本如何把它降下来。

二、泛化分级


三、算法

计算机视觉、模仿学习、模仿学习+强化学习

趋势分析：

(1) 创业公司和科技巨头会快速收敛到同时使用真实数据和仿真数据
(2) 端到端模型是大趋势，Real2Sim2Real过拟合到局部任务、落地友好基础物理仿真有待突破、有很大研究空间
(3) 开源硬件和软件百花齐放，仿真和实采技术会收敛到几个平台，技术平权时代到来