在NVIDIA眼中，边缘AI和机器人的未来挑战是什么？

本文整理自NVIDIA GTC2024讲座：

我正在谈论将来会发生的事情。但是今天的演讲将非常注重实际挑战，以及我们认为可以帮助应对人工智能和机器人技术挑战的新兴趋势。

但在展望未来之前，回顾过去和现在是很重要的。所以我们，我们在十年前开始研究机器人技术。事实证明，2014年3月我们创建了第一个产品，呃，在那个时候我们，并不知道它将被用于机器人技术。嗯，这是我们开始的一个项目。然后，我们一直在学习行业的需求，开发者的需求，并逐渐建立起我们的产品组合。在过去的十年里，我们推出了一些真正优秀的产品，帮助开发者在边缘采用人工智能技术。最新推出的基于Orin的产品系列是我们带来的最重要的平台更新之一，首次使相同的架构在我们的入门级产品（如nano）和最高性能产品（如AGX）上都可用。你们中的许多人是这一旅程的关键成员。我们有130万名开发者，对此我们感到非常自豪。所以，感谢大家拥抱这个平台，以及你们为使其成为更好的平台所做的一切。

我也想要表扬一些Jetson社区所做的工作。我们经常与我们的大客户一起庆祝成功。但是有一个非常庞大的开发者社区，他们积极贡献并致力于嵌入式边缘和机器人技术。如果你还没有访问过这个页面，我强烈鼓励你去看看。这里只列出了189个项目，但我知道负责这些项目的团队，还有很多项目可以加入到这里来。所以再次，让我们庆祝开发者在这个平台上所做的所有工作，这帮助我们继续投资并使其变得更好。

但是边缘AI和机器人技术面临的挑战是什么呢？我们都看到过ChatGPT，在五天内吸引了一百万用户。我假设这里大多数人都在从事机器人技术和人工智能方面的工作。我理解，你们所面临的最大挑战是现实的。在机器人技术或边缘AI方面，我们无法看到这种曲线呈现出“冰球棒”式的增长。扩展是一个很大的问题。有许多因素导致为什么扩展很困难。有技术因素，有市场因素，还有工程挑战。因此，我们在思考未来的边缘AI和机器人技术时，重点是为我们的开发者和客户提供扩展能力。我们将如何帮助人们从几十、几百个设备发展到拥有数千万个设备呢？所以今天，我将分享一些我们正在做的事情，一些正在行业中发生的事情，我们坚信这些事情将有助于解决边缘和机器人技术领域一直存在的扩展挑战。

我们首先要做的是，并且已经开始看到这种趋势逐渐普及的，就是“AI工厂”的概念。当你在为边缘构建应用程序，或者要在许多不同的客户站点进行部署时，你会遇到一个问题：缺乏每个客户所需的数据。因此，结合合成数据和预训练模型，我们现在正看到这些工作流程的发展，你几乎可以拥有自己的I数据工厂，这就是其中一个项目的很好例子。我们从一个预训练模型开始，该模型经过训练可以分割出人物，但它只接受了从顶部视角（例如从CCTV摄像头）观看的人物的训练。然而，对于机器人技术，你需要从离地面几英寸的机器人的视角来观察。因此，你可以看到，当我们尝试使用这种预训练模型进行分割时，它的表现非常糟糕。但我们回到Omnibus，这是一个用于创建合成数据的工具。仅使用200张图像，我们就能够重新训练，将这个特定模型进行迁移学习，你可以看到下面新模型的输出。那么，它如何帮助扩展呢？如果你从第一个用例到第二个用例再到第三个用例，我敢肯定每个