2024年是具身智能的元年,很多人在这一年开始了解具身智能这一前沿科技,但是中文互联网上的资源分布过于零碎,不容易找到,难以获取一个系统性的视野,为广大从业者和爱好者制造了阻碍。
为了帮助大家更好地踏入/follow这个充满潜力的新领域,笔者精心整理了一系列关于具身智能的高质量资料。这些资料不仅涵盖了具身智能的核心技术,如感知、运动、操纵、强化学习、模仿学习、大语言模型(LLM)与机器人学的结合等,还延伸至自动驾驶、世界模型构建、以及产业界的应用实践。
希望这些经过精心挑选和编排的资料能成为大家探索具身智能及其相关领域的得力参考,无论您是刚入门的小白,还是资深的领域内专家,都能助各位在科研、学术道路上更进一步。
目录:
- 公众号文章:2024年以后的最新进展,帮助读者紧跟学术动态与技术趋势。
- 社区、网站、公众号、知乎答主:整理了输出内容质量高的公众号、答主和网站,以及高手云集的社区环境。帮助follow最近的技术。
- 优秀的技术文章与概览文章,以知乎为主:以知乎为主阵地,汇集了各大专业平台上的高质量讨论与问答,收录了一系列由知名答主和技术大牛撰写的综述性文章,还有详尽的综述论文和paperlist,致力于提供宏观视角下的技术全景。
- B站视频和B站up主:甄选了内容质量较高的讲座与技术分享类型的视频,以及领域内有名气的up主
awesome-公众号文章
很多公众号的文章太多,并没有合适的归档,本人在此对2024年以后的具身智能文章做了归档,也涵盖自动驾驶、世界模型等方面
为了便于归档,本部分只包含公众号文章,主要以中文三大顶会:机器之心、新智元、量子位为主,以及深蓝AI等公众号,它们的知乎文章也包含在内。主要收录风格轻松、不硬核的文章
每个小分类之间几乎没有重复的文章,尽量按时间排序。
模型架构
何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%
模仿学习、RL、diffusion policy
斯坦福炒虾机器人爆火全网!华人团队成本22万元,能做满汉全席还会洗碗 ALOHA
开源版OpenAI机器人2.5万打造!斯坦福李飞飞团队祭出「灵巧手」,泡茶剪纸炫技
从ALOHA迈向Humanplus,斯坦福开源人形机器人,「高配版人类」上线
清华开源全球最大双臂机器人扩散大模型RDT,懂调酒能遛狗,登顶HF具身热榜
强化学习训练一两个小时,100%自主完成任务:机器人ChatGPT时刻真来了?
VLM、 MLLM
谷歌让机器人充当大语言模型的手和眼,一个任务拆解成16个动作一气呵成
李飞飞「具身智能」新成果!机器人接入大模型直接听懂人话 Voxposer
详解具身智能元老SayCan|机器人和大语言模型如何互利共赢
李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o
端到端VLA
谷歌RT-1模型让一个机器人干几份活,700条指令成功率达97%
具身智能GPT-2时刻到了!这家国内公司已做出全球最大规模的端到端统一具身大模型——专访自变量机器人团队
sim2real
李飞飞「数字表兄弟」破解机器人训练难题!零样本sim2real成功率高达90%
Sim2Real新突破:Jim Fan团队造机器人「修仙」模拟器,挂机50分钟=修炼一整年
从未见过现实世界数据,MIT在虚拟环境中训练出机器狗,照样能跑酷
模拟到现实无缝转换!麻省理工学院研究团队提出生成模型LucidSim,破解机器人训练难题!
世界模型、空间智能
思考总结10年,图灵奖得主Yann LeCun指明下一代AI方向:自主机器智能
李飞飞携24人最强天团打造「大世界模型」!Hinton站台力挺,获2.3亿融资
为机器人赋予空间智能,UIUC团队构建多模态具身智能的3D推理系统
北大陈宝权教授:从图形计算到世界模型 图形学的视角
OpenAI重金押注,机器人NEO世界模型登场!机器人迎来ChatGPT时刻?
虚幻5加持,清华发布首个「真实开放环境具身智能平台」与基准测试集EmbodiedCity!
LeCun 的世界模型初步实现!基于预训练视觉特征,看一眼任务就能零样本规划
刚刚,李飞飞创业首个项目引围观:单图生成交互3D场景,空间智能来了
刚刚,DeepMind最强「基础世界模型」诞生!单图生1分钟游戏世界,解锁下一代智能体
硬件
Meta触觉机械手登Science子刊封面,操作未知物体精度最高提升94%
解锁多项技能!兼容各类品牌!深圳技术大学研究团队推出通用具身智能系统,实现试管分拣、线性柔性体灵巧操作等广泛实际场景应用!
穹彻智能-上交大最新Nature子刊速递:解析深度学习驱动的视触觉动态重建方案
产业
斯坦福最强家务机器人ALOHA 2来了,成本不到20万,联手谷歌DeepMind,完全开源
解密机器人大模型RFM-1:Covariant创始人陈曦专访
OpenAI机器人诞生!Figure 01碾压擎天柱,10亿机器人大军启动
叠衣服、擦案板、冲果汁,能做家务的国产机器人终于要来了 X Square
“鸽”了一年,稚晖君连发五款机器人:打麻将、拆快递、纽扣穿针都不在话下,还有“0元”惊喜!
清华团队破解具身智能Scaling Law,GPT时刻在即!宁德时代联创终于出手
具身智能GPT-2时刻到了!这家国内公司已做出全球最大规模的端到端统一具身大模型——专访自变量机器人团队
全球首例机器人刮胡子,斯坦福校友1年拿下3轮数亿融资!红杉领投圈内热门
星动纪元陈建宇:构建通用具身智能体 解析全球最强人形机器人技术发展路径
中国仿生机器人的“奥林匹克”,北京海淀为何能成“最强战场”?
自动驾驶
大幅超越所有SOTA!地平线DiffusionDrive:生成式方案或将重塑端到端格局?
综述
为什么说具身智能是通往AGI值得探索的方向?上海交大教授卢策吾深度解读 有深度
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能 综述论文的概括
大模型走向物理世界,TeleAI 发布大模型驱动的具身智能综述,覆盖300篇文献 综述论文的概括
从自动驾驶到具身智能漫谈 古月居详尽而易懂的好文
awesome-社区/公众号
AI三大中文顶会:机器之心、新智元、量子位在此不表
具身智能社群 里边有大量的具身智能论文介绍
机器人大讲堂 有同名公众号
自动驾驶之心 有同名公众号和知乎账号
石麻笔记 公众号,包含深度的访谈
人形机器人联盟 公众号
awesome-优秀博主&知乎答主
主要列举了笔者关注的账号,主要以知乎账号为主,并附上简要描述(有些描述是该账号自带的),如有遗漏请谅解,可以在评论区补充其他大佬的账号!
东林钟声 华中科技大学 控制科学与工程博士,活跃的答主
自动驾驶之心 公众号的知乎账号
穆尧 EmbodiedGPT一作 研究方向:具身智能、强化学习、智能机器人与自动驾驶
黄浴 自动驾驶科学家/工程师,专栏系列收录了很多文章
张海抱 清华大学交叉信息研究院 强化学习 系列论文解读
王建明 公众号(石麻笔记)
zhimi 具身智能产业界动向
NNEEOO AI+Robotics 猎头顾问 具身智能产业界动向
tanh 清华计算机系本+博士生 AI OIer 系列论文解读
AI机器人日记 系列专栏
一辄 关注人形机器人/具身智能 ,对各位老师的讲座整理的很好
yiha 具身智能社群用户
董豪 北大助理教授 具身智能
卢策吾 上海交通大学教授,MIT
俞扬 南京大学教授 强化学习
刘斯坦 《PyTorch自动驾驶视觉感知算法实战》作者
叶小飞 Waymo研究员,UCLA自动驾驶博士
田渊栋 Meta AI FAIR研究员/总监,CMU机器人系博士
王小惟 Weixun 专注强化学习(RL)知识输出,RL4LLM探索者
Flood Sung 月之暗面 AI研究员 兼 AGI,元宇宙及机器人革命布道师
Naiyan Wang 自动驾驶
王峰 自动驾驶
awesome-文章
入门介绍概述
具身智能是什么?现在发展现状怎么样? 优秀的科普文章
具身智能入门学习技术路线 东林钟声的文章
思考
卢策吾教授谈具身智能:数据魔咒、第一性与两级火箭大模型 | 高榕未来
具身智能 | 银河通用 | 北大王鹤老师组 | 思路研究 随笔
通用与灵巧 S1|Pick & Place的下一步:纷繁先验的简洁共性 思考
学术界与产业界:
2024年5月具身智能机器人领域情报第四弹:一些悲观冷静的思考 系列文章
3D 视觉派:斯坦福具身智能人物关系图 八卦,讲故事
优质技术文章:
Imitation Is Not Enough - 在运动规划中克服模仿学习的局限性 非常详细的整理
什么是world models/世界模型 - 知乎 俞扬教授科普力作
对话高阳:具身大模型框架ViLa+CoPa 易懂好文,完美的工作总结
综述与汇总系列:
具身智能专栏 黄浴,文章超级多的专栏
浙大博士LLM for robotics 具身智能讲座笔记1|前言篇 专栏
【大模型 301】Embodied AI 论文汇总 系列文章汇总
最近一些Embodied AI工作的总结(SayCan/LM-Nav/WebShop/Gato/VPT/MINEDOJO)
MLLM for Robotics Manipulation 超级详细
[具身智能] 机器人操作VLA模型论文整理 非常详细的整理
具身智能(Embodied AI)技术全面综述:感知、交互、规划、仿真、挑战、机遇 综述的翻译
爆火的具身智能到底是什么? 最新综述!大语言模型与机器人研究 综述论文摘要,细
论文集合:
论文仓库:
https://github.com/yunlongdong/Awesome-Embodied-AI
https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List
https://github.com/GT-RIPL/Awesome-LLM-Robotics
综述论文:按字母顺序
Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI
A Superalignment Framework in Autonomous Driving with Large Language Models
A Survey on Integration of Large Language Models with Intelligent Robots
A Survey on Vision-Language-Action Models for Embodied AI
A Survey of Embodied Learning for Object-Centric Robotic Manipulation 优秀的中文综述
Foundation Models in Robotics: Applications, Challenges, and the Future
From Efficient Multimodal Models to World Models: A Survey
Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis
awesome-知乎问题和回答
awesome-B站视频和用户
CCF-CV走进高校第112期(华北理工大学)——卢策吾 有启发
上海交大卢策吾:具身智能与他的首个刮胡子机器人 | 智者访谈 深度访谈
“AI的未来就在这里”| 李飞飞最新九月a16z投资人访谈【高清收藏·中英字幕】 空间智能
北京大学-董豪】具身智能关键技术研究:操纵、决策、导航 2024.6
讲座 | 视觉推理与具身智能——上海交通大学长聘教轨助理教授、博导李永露 这是一个高质量系列讲座
Talk | 清华大学交叉信息研究院助理教授许华哲:具身控制中的泛化能力 TechBeat的系列讲座
CVPR 2024 - 具身智能中的多模态三维感知思考 openmmlab系列视频
具身机器人的个人空间 论文速递系列视频
周指导Boyu_Zhou 南方科技大学助理教授 论文速递系列视频
深蓝学院 论文速览系列视频
智元机器人的个人空间 企业
Unitree宇树科技 企业
星海图具身智能 企业
自变量机器人 企业
机器人科学与技术 产业界机器人速览
欢迎各位补充其他优秀的文章和作者!如有遗漏,敬请原谅。日后还会不定期更新。如果喜欢的话请点赞收藏!
在这里打个广告,如果喜欢的话,可以关注我的具身智能专栏,将会收录我最近的学习心得和知识分享。笔者后续也会出一个具身智能入门学习路线文章,敬请关注。
我的合作知乎专栏:具身智能技术分享–通往AGI之路