AI大模型与机器人融合后，会发生什么？

最新推荐文章于 2024-09-12 18:02:47 发布

辣卤牛肉面

最新推荐文章于 2024-09-12 18:02:47 发布

阅读量590

点赞数 13

文章标签：人工智能机器人音视频产品经理 langchain 语言模型

本文链接：https://blog.csdn.net/2301_76168381/article/details/140375367

版权

近几年，机器人出现在了越来越多的应用场景中，物流仓库、码头、家庭、工厂等等到处都可以见到它们的身影。特别是移动机器人（AGV/AMR）增长最为迅速，比如去年11月时，亚马逊就对外宣布，已经在全球仓库和配送网络中部署了超过75万台机器人，其中大多数为机械臂和轮式机器人。而这个数字在2017年时，仅为4.5万，可见增速之快。

这从新战略移动机器人产业研究所的统计也可以看出，该机构初步测算，预计2023年中国移动机器人销售规模约为220亿，同比增长18.9%；销售数量约为115000台，同比增长23.7%。

图：2015年~2023年中国移动机器人销售规模与销售数量（来源：CMR产业联盟）

大模型催化机器人产业变革

当前，机器人产业蓬勃发展，正极大地改变着人类的生产和生活方式，为经济社会发展注入强劲动力。随着5G、人工智能、新材料等技术的发展，为机器人产业提供了新的发展机遇。特别是OpenAI的ChatGPT大模型出现后，引起了各行各业的变化，机器人产业也不例外。

以前，机器人要完成一个任务，需要工程师编写代码，然后执行，以完成动作任务，整个过程耗时长，且复杂。任务从描述到分解，再到动作生成，一个简单的任务可能需要数十人的团队花费几个月时间。而有了大模型，可以大大简化这一过程，大幅减少耗时和费用。

可以说，深度学习和神经网络技术的进步已经使机器人更加智能化，具备更高水平的感知、学习和适应能力，使得它们能够自主执行更为复杂的任务。

机器学习算法则允许机器人从经验中学习，使它们能够适应各种情况和环境。这一进步不仅会提高机器人的效率，而且还能提高决策时的准确性，将为机器人在复杂环境中执行任务提供更大的灵活性和精准度。

而要想这些功能和技术能够更好地实现，关键在于控制芯片，目前的控制芯片主要有张量处理器（TPU）、FPGA、GPU等。供应商有AMD、英特尔、特斯拉、地平线、NVIDIA等。特别是NVIDIA，其Jetson平台能够为AI机器人的开发和部署提供助力。据公开信息显示，该平台已经被超过120万名开发人员和10,000名客户及合作伙伴所使用，这些合作伙伴包括波士顿动力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等。

一般来说，在现实世界中，制造机器人需要从头开始创建数据集，涉及到采集和注释海量真实图像等，这一过程耗时又费钱，存在人力协调方面的挑战，而且会减缓部署速度。因此，开发人员转向了合成数据生成 (SDG）、预训练 AI 模型、迁移学习和机器人仿真这几种方式。

比如，开发者可以通过NVIDIA提供的机器人仿真应用平台Isaac Sim，来创建虚拟环境和生成合成数据。更进一步，还可以使用Isaac Sim Replicator，其为建立在可扩展的 Omniverse 平台上的高度可扩展 SDK，可生成大规模的逼真合成数据，来引导和提高现有深度学习感知模型的性能。

选择好合适的模型后，就可以进一步训练和微调出更为准确的 AI 模型了，这也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一个框架，可使用自定义数据训练、调整和优化（TAO: Train, Adapt, and Optimize）计算机视觉（CV） AI 模型和对话式 AI 模型，所需时间非常少，也无需拥有大型训练数据集或 AI 专业知识。

也就是说，机器人系统需要云计算和边缘计算两个数据库，在云端，首先训练泛化能力强的大模型，再针对具体环境输入相应的数据库进行专门训练。比如在厨房场景，就需要了解各种菜谱、菜品、菜刀、锅的识别等，使机器人在专门的场景中能够像一个成长了的孩子那样快速适应。

然后，将训练好的模型放入机器人的控制器当中，通过在机器人上反复训练，逐渐优化模型。理论上，只需要少量机器人在特定场景中训练，就能够快速熟悉和掌握所需要的技能。

从目前成功的案例方面来看，机器人一般是通过云端和边缘处理的模型交互，实现动作数据的迭代与更新。这一过程再现了机器人“大脑”（控制器）的决策大模型的执行力，从基础能力到代码生成的过程。随着多模态技术的发展，机器人“大脑”的处理能力显著提升，能够统一处理语言、视觉，以及动作等各种模态。

据谷歌去年发布的论文显示，多模态数据库是未来的关键，特别是他们将动作数据向量化，便于大模型的理解和处理。这一进步预示着机器人“大脑”完善的巨大潜力，是该领域的一个重要里程碑。通过云、边缘和端的统一，实现了全局的泛化处理。

也就是说，机器人技术未来演进的方向，核心关键是控制芯片的发展、多模态处理能力的提升，以及云端和边缘计算的融合。

小结

将生成式AI应用于机器人，将会对机器人的发展和部署产生革命性的影响。我们可以看到机器人出现在了越来越多的应用场景中，特别是现在受到广泛关注的人形机器人，玩家越来越多，产品类型也越来越丰富。比如，美国拥有波士顿动力、特斯拉、Agility等知名企业；日本有软银机器人；挪威有1X等企业；中国的人形机器人企业有优必选、达闼、傅利叶、小米、宇树科技、开普勒等，都推出了具有自主知识产权的人形机器人产品。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！
在这里插入图片描述
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
在这里插入图片描述
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。