AI工程师：AI时代的新岗位

从数量上看，AI工程师的数量可能比机器学习工程师/LLM工程师的数量要多得多。一个人可以非常成功地胜任这个角色，而无需接受任何培训。
—— Andrej Karpathy

仅初创公司的收入就超过 10 亿美元，随着 Gen AI 的早期成功迹象，每家有远见的科技公司都在竞相将 Gen AI 功能融入其产品、客户支持机器人和营销中。人工智能作为一种技术，正处于与 90 年代末互联网相似的交汇点，甚至完全相同。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割

1、AI的需求和建设者不断增加

为了发现这一趋势，我查看了 YCombinator 的公司组合。对于那些不了解的人，YCombinator 是一家总部位于美国的著名创业加速器。他们支持了许多初创公司，这些初创公司现在已成为科技巨头，例如 Airbnb、Dropbox、Stripe 和 Reddit。

以下是我得到的结果，看看 2017 年至 2023 年使用 AI 进行构建的公司数量。自 2021 年以来，使用 AI 进行构建的公司数量显着增加，然后在 2022 年推出 ChatGPT 后激增。

这给了我们一些信心，在不久的将来会有越来越多的公司使用 AI 进行构建，从而导致对 AI 工程师的需求增加。

而且，对于任何程序员来说，这是开始构建和学习的最佳时机。

2、为什么是现在？！

AI 开发领域已经发展到足以快速启动开源 LLM、框架和现成的 API，社区也已经发展到足以获得所需的支持。

AI 初创公司、AI 加速器、开源存储库、SDK、软件包、云平台 — — 一个共同的主题 — — 以最快的速度构建、解决和交付。

曾经需要专门的研究团队和多年的密集工作，现在可以通过 API 文档和几天的专注努力来有效地管理。

那么，构建者（喜欢构建产品的人）或工程师如何才能深入研究 AI 领域呢？

要回答这个问题，你应该首先了解该领域正在发生的一切。

3、AI 开发层

我将当今 AI 的主要开发领域分为 3 个不同的层。

AI 开发层画布

• 应用程序开发层

这一层包括使用一些 AI 工程框架（如 Langchain、LlamaIndex、Autogen 等）在现成的 LLM API 之上开发应用程序（接口），然后监控和评估您的应用程序。

这是最活跃和最热门的层。这就是赚钱的地方。用例越真实，价值就越大。要开发这些 AI 应用程序，你需要掌握一组特殊的工程技能，我将在本文后面解释。

• 模型开发层

再深入一层，我们在这里研究可以提供更优化模型的一切。使用各种工具对数据集进行工程设计、分布式训练、评估和基准测试以及推理服务。

这一层需要深度学习、分布式系统、数据集管理和工程方面的深厚专业知识。

• 基础设施层

支撑一切的是基础设施层，包括硬件、云服务提供商和 GPU，这些大型模型在这些层上进行训练。

这一层需要计算（操作系统、网络、安全）、分布式系统以及 AI 模型开发方面的深厚专业知识。

除此之外，还有另一层，用于研究人工智能风险和安全协调，以防止流氓人工智能。这是 OpenAI 今年早些时候推出的一项 1000 万美元的超级协调补助金计划。

鉴于应用层最受关注，它导致对一种知道如何在人工智能之上构建的特殊工程师的需求不断增加。虽然这些工程师没有标准术语，但大多数公司都称他们为AI工程师。

在我写这篇文章的时候，Chip Huyen 发表了一篇900 种最受欢迎​​的开源AI工具的文章，这进一步证实了我对AI工程师需求不断增长的观察和发现：

有了现成的模型，任何人都可以在它们之上开发应用程序。这一层在过去两年中行动最多，并且仍在快速发展。这一层也被称为AI工程。
——Chip Huyen

4、AI工程师的定义

那么，我们如何定义 AI 工程师的角色？他们需要成为 AI 或深度学习方面的专家吗？

AI 工程师是专门利用 AI 技术开发全面的、与形式无关的应用程序的专业程序员。

“与形式无关”是指应用程序类型的多样性，从简单的聊天界面到复杂的全栈应用程序、Chrome 扩展程序、Python 包或 SDK。

与深入研究算法基础的 AI 研究人员不同，AI 工程师专注于应用现有的 AI 模型来创建以用户为中心的产品。

但问题又来了，我不需要成为 AI 专家才能成为 AI 工程师吗？

简短的回答是“不需要”。

这个角色不需要对 AI 原理有详尽的专业知识，例如了解 Transformer 模型的内部工作原理，就像学习游泳不需要深入研究浮力的物理学一样。

虽然对深度学习和机器学习的深入了解可以带来优势，提供独特的优势，但目前的行业需求更倾向于实际应用而非理论研究。

那么，我们如何区分AI工程师和AI研究员呢？

5、AI 工程师 vs AI 研究员

下图将工程技能（例如使用 API）与 AI 研究技能（例如设计模型架构或了解转换器的工作原理）进行了对比。

AI 工程师擅长创建 AI 驱动的应用程序，专注于最大化模型功能并优化大型语言模型 (LLM) 的工作流程。

AI 工程师 vs AI 研究员

我还认为与机器学习原生（ML-native）人才相比，工程原生（engineering-native）人才将在这个角色中大放异彩。

你一定想知道，如果 AI 研究员是擅长工程且在 AI 方面拥有深厚专业知识的人，那么为什么公司不雇用他们而不是 AI 工程师呢？

简而言之，稀缺性会导致成本增加。

6、下一个重大技术角色—AI 工程师？

以下是一些关于这个生态系统如何通过“模型即服务”快速发展的有趣见解：

• 需求和供应动态：所有顶尖的 LLM 研究人员都已被 Google、OpenAI、Microsoft 和 Meta 等巨头选中，而 LLM 研究人员的稀缺表明对 AI 工程师的需求迫切。这类专业人员是尖端研究与实际应用之间的桥梁，确保 AI 技术的更广泛可及性和实施。
• 快速原型设计和敏捷性：与需要大量研究我们是否需要 ML 来解决问题的传统 ML 方法不同，AI 工程师可以使用现成的模型 API 快速原型化和迭代 AI 产品。
• 创新变得更容易、更快：基础模型在各种任务中表现出非凡的适应性，只需最少的投入，这对于利用这些功能创建超出研究人员最初设想范围的创新解决方案的 AI 工程师来说非常宝贵。
• 推理优化以应对计算约束：对 GPU 的需求不断增长以及专用计算集群的形成凸显了在这些约束内优化模型性能和创新的 AI 工程师的重要性。

虽然推荐系统、欺诈检测和异常检测等传统 ML 问题将继续改进，但我们有一系列全新的 AI 应用程序需要满足。

HuggingFace 联合创始人 Clem Delangue 表示：

AI 是构建所有技术的新范式

因此，我们需要越来越多的 AI 工程师！

看看红衫资本的这张生成式 AI 市场图，应用层充满了几乎每个领域的用例和公司：

图片来自红衫博客 — Generative AI’s Act Two

7、结束语

总而言之，我们有：

• 行业领袖和AI领域的资深专家，如 Andrej Karpathy、Chip Huyen 和 Clem 等。
• YCombinator 等大型孵化器、风险投资公司和投资者一直在投资AI公司，他们在人工智能领域投入了很长时间，证明这是构建所有技术的下一个大范式。
• AI研究和工程之间的差距需要弥合，这将由AI工程师推动。
• AI驱动的应用程序生态系统正在快速发展——新的和改进的开发人员工具、随时可用的 API、库和云平台每周都会推出。最重要的是，我们有一个不断壮大的社区来提供所需的支持。

因此，现在是开始使用AI进行构建、掌握这些技能并为下一个重大技术角色做好准备的时候了。

---

原文链接：AI工程师：重磅新角色 - BimAnt