Alex 发自 凹非寺
量子位 | 公众号 QbitAI
当我还在跟ChatGPT吹牛尬聊时，有人已经在拿它操控机器人了。
不是别人，正是OpenAI的金主爸爸、不久前刚拿ChatGPT“重新发明搜索引擎”的微软。
到目前为止，开发者调教机器人不仅技术门槛高，还道阻且长：
工程师需要在工作流程回路中，不断手写新代码和规范来纠正机器人行为；另外，操控不同的机器人可能需要不同的编程语言和环境。
而在ChatGPT的帮助下，工程师甚至不用手写代码——直接用人话描述想做什么，AI就能自动翻译成机器语言。
这意味着，一方面专业人士与机器人的交互效率起飞；另一方面，技术门槛也降低一大截，外行人甚至也能参与调试，创造出更多使用方法。
举个简单的例子：让无人机自动检查货架。
首先，操作者只需用自然语言给ChatGPT提出要求；然后，AI就能自动翻译成代码，并指挥无人机行动。（还可以规定无人机的飞行路径。）
难怪特斯拉前AI主管Andrej Karpathy会调侃：
最新的热门编程语言是英语。
一个AI指挥多种机器人
实际上，ChatGPT会玩儿的花样可多了。
比如，一位操作者跟AI说：“我渴了，请帮我找个喝的。”
此时AI并不会直愣愣地就去找水了，而是会很机灵地反问：
请问你想喝哪种？这里有好几种饮料，比如椰子水、可乐等等。
当然操作者也不是吃素的，他并未直接告诉AI选哪个，而是说：“我刚从健身房回来，请帮我找个健康点儿的饮料。”
然后更神奇的操作就开始了：
AI先是猜测他想喝椰子水，然后自己噼里啪啦写出一段代码（甚至还有注释）：
写完就自己指挥无人机去找椰子水：
除了无人机，ChatGPT还能轻松操控别的小机器人，包括摄像头、机械臂等等。
比如让摄像头在房间里找出能加热午饭的东西。
还有指挥机械臂拼出一个微软的Logo。（悄悄夹带私货）
看到这些，有网友脑洞大开，有人发问：
他们是不是正在建立无所不能的天网？
还有人甚至调侃称，AI可能连发射核弹的指令都会写：
不过话说回来，其实离网友说的这些还差得远，毕竟现在还是需要人类参与的。
怎么实现的？
从前文可以看出，这只灵活的AI不仅与人交流畅通无阻，而且和机器也能快速沟通。
这主要得益于微软团队专门开发的一系列API和高级函数库。
他们没有让ChatGPT背后的语言大模型（LLM），生成某固定种类的代码；因为机器人是个多元化领域，这样可能会在不同场景下涉及大量微调。
而在新颖的操作框架下，不同机器人，都有自己对应的特定函数库。
——一个AI，就能适应不同的对象、不同的任务。
一方面，这些函数库，能够连接到机器人控制系统中管理底层硬件，以及执行基本运动的代码和功能模块。
另一方面，为了让ChatGPT也能遵循函数库的规则，预定义函数命名就很关键。清晰的函数名，能让各API之间建立良好的功能连接，最终生成高质量的回答。
其中一项要求，就是所有API名称必须描述整体功能行为。例如，detect_object(object_name) 函数可以在内部链接到OpenCV函数或计算机视觉模型。
设计好库和API后，微软给ChatGPT编写了一个文本提示（prompt），描述目标任务，并明确说明函数库中哪些函数可用；另外，这还能规定ChatGPT生成代码用哪种编程语言。
值得一提的是，AI生成内容效果，和人为提示的质量呈正相关。为此，微软还开发了一个协作开源平台PromptCraft，任何人都能在此分享不同类机器人的Prompt策略。
到此，幕后部署基本完成，然后用户就能通过“说人话”间接操控机器人了。
如果想要检查AI生成的代码是否有Bug，随时都能在聊天框直接检查，或通过模拟器测试，人类可以用自然语言指导AI进行修正。
另外，还能到等到用户对解决方案满意为止，再在将ChatGPT生成代码部署到机器人上。
最后，如果是你，会想用ChatGPT操控机器人做些什么呢？
论文地址：
https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf
参考链接：
[1]https://arstechnica.com/information-technology/2023/02/robots-let-chatgpt-touch-the-real-world-thanks-to-microsoft/
[2]https://www.microsoft.com/en-us/research/group/autonomous-systems-group-robotics/articles/chatgpt-for-robotics/
[3]https://github.com/microsoft/PromptCraft-Robotics#promptcraft-robotics
本文仅做学术分享，如有侵权，请联系删文。
点击进入—>3D视觉工坊学习交流群
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
