AI Engineer正在崛起；转型AI工程师的必学资料清单；如何招聘&培养一名AI工程师；AI Engineer最全面经&题库

本文链接：https://blog.csdn.net/ShowMeAI/article/details/140648507

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦！

1. 一年前，Latent Space 果断「预言」AI Engineer 正在崛起

The Rise of the AI Engineer → https://www.latent.space/p/ai-engineer

Latent Space 是AI领域最有影响力的播客频道之一，主持人是 Shawn Wang，也就是大家熟知的 Swyx。

一年前，也就是2023年6月30日，Swyx 撰文「The Rise of the AI Engineer (人工智能工程师的崛起)」分享了他的观察和思考，引起了科技领域的极大关注。

🔔 最出圈的一张光谱图

Swyx 绘制了一张岗位光谱图，👈 左侧受到数据/研究约束 (Data/Research constrainted)，👉 右侧受到产品/用户约束 (Product/User constrainted)；最左侧岗位与机器学习 (ML) 密切相关，最右侧岗位已经不涉及 ML 技能。划分边界就是 API (大模型调用接口)。
目前，底层大模型已经爆发，生成式AI应用也有爆发趋势。两端同时爆发，必将催生大量的人才需求。普通公司受限于人才和算力无法参与大模型训练，因此机会主要在右侧。
因此，大多数公司生存逻辑转变为使用AI能力做出产品。这意味着公司不需要再配备庞大的 ML 算法团队，而是专注于调用大模型 API 并进行产品化。这就是 AI Engineer (人工智能工程师)。

🔔 新的需求催生新的岗位

不同于 Prompt Engineer 成为各岗位兼具的基础技能，AI Engineer 必须是全职岗位，因为要处理的挑战又多又关键：① 测评源源不断的开/闭源大模型，② 尝试最新的技术框架和技术产品，③ 紧跟论文/融资/产品/活动等行业动态……
AI Engineer 正在将AI的进步，转化为数百人可以使用的产品。他们可能是独立开发者，可能是一个小型创业团队，可能在知名创业公司 (比如 HeyGen、Figma、Notion)，也可能身在微软、谷歌等科技巨头。
AI Engineer 是软件工程衍生出的新分支，专门研究AI的应用并有效运用新兴的技术栈。新岗位的出现，源自平台转换带来的代际变革，曾经的 DevOps工程师、数据工程师等也是这样。

2013年，完成一个AI任务需要耗费整个研究团队5年的时间。而时间来到2023年，你只需要一份 API 文档和一个空闲的下午。

2. Swyx 周年回顾，坚信 AI Engineer 是未来十年需求最旺盛的工程师岗位

[Latent Space] 播客共50分钟 → https://www.latent.space/p/high-agency

前段时间，「The Rise of the AI Engineer」这篇文章的作者 Swyx，串台播客频道 High Agency，与 Reza Habib 聊了聊文章出圈一年后，他最新的观察与思考。

🔔 AI Engineer VS ML Engineer

Swyx 试图从多个角度更精准地描述 AI Engineer (人工智能工程师) 这个新兴岗位，比如与 ML Engineer (机器学习工程师) 的边界，与AI产品经理的协作新方式等等。

AI Engineer 更多处于0到1的阶段，而 ML Engineer 更多处于1到N的阶段。
AI Engineer 更多地思考产品，ML Engineer 要处理具体的端到端问题 (基于 baseline 为某个特性问题构建或优化模型，实现具体的数据目标)。
AI Engineer 的世界由模型开始，到产品结束，更接近全栈开发；ML Engineer 世界从模型开始，到模型结束，数学要非常好。

AI Engineer 是一种新的人才和技能组合，既融合了 ML Engineer 的部分特质，又借鉴了全栈开发的技能要求，同时也很注重产品能力。一般来说，拥有的 ML Engineer 技能越多，作为 AI Engineer 就越成功。

在一个成熟团队里，AI Engineer 和 ML Engineer 的比例大约是四比一。
换个角度理解，AI Engineer 承包了 ML Engineer 工作中与模型无关的部分，使得 ML Engineer 有余力和能力去研究模型。或者说，市场并没有足够多的 ML Engineer 储备，因此需要一个新的角色来填平各方的需求。

🔔 fire - ready - aim

传统机器学习工作流是 aim - ready - fire，要求 Data / ML Engineer 先收集数据、再训练模型、最后投入生产。
基于AI的 LLM 工作流是 fire - ready - aim， AI Engineer 先使用提示词快速构建和验证产品创意，再获取特定数据进行微调。不仅速度快，而且成本低 (只有传统工作流的千分之一到万分之一)。

在小团队里，AI Engineer 可以胜任产品经理的职能，洞察客户需求，并为产品选择正确的方向。
在大团队里，产品经理依然无可替代，这时 AI Engineer 负责提供基础模型的最新动态，并与产品经理一起，通过提示词来快速验证产品创意是否可行。

3. 所以，你也想成为 AI Engineer 嘛？转型升职成功的大佬这么说…

原文详细介绍了作者做的每一件事情 → https://adamfallon.com/2024/07/10/so-you-want-to-become-an-ai-engineer

作者是一名高级iOS开发工程师。他用一年时间顺利转型升职，并开始担任公司的 AI Engineer 主管。并在文章中详细记录了自己的成长过程。

路径不是唯一的，但这个过程中的思考和经验，还是很有借鉴意义的！！作者还分享了一份优质学习资料清单！！

🔔 转型

生成式AI正在迫使软件工程师去贴近产品开发。
未来，大模型能力一旦突破某个临界点，软件工程师的编程能力将基本被AI取代。届时，软件工程师的竞争优势就变成了：对AI模型的功能进行巧妙的组合，打造有趣的产品，推进公司的发展目标。
如果这个预测成真，那么技能栈越广泛的工程师，将越受欢迎。

🔔 上岸

如果用一句话概括 AI Engineer 的工作内容，那就是：探索如何把AI融入到产品中。

如果向进一步了解 AI Engineer 的日常工作和所需技能，可以从这个清单开始：

围绕大语言模型 (LLM) 构建系统和功能。理解和使用大语言模型，并绕过遇到的各种限制，把相关上下文有效地融入到发送给 LLM 的消息中。
向产品团队和领导阐释生成式AI带来的机遇。
与机器学习工程师合作，有效评估模型性能。
协助制定执行团队的战略。
与工程负责人共同制定产品路线图和开发顺序。
大量的实际编程工作，包括后端和前端开发，将创意变为产品功能。

一年时间里，作者做了以下这些事情：

创建 Proof of Concepts (概念验证，可以理解为 Demo)，并勇敢对外分享。比如参加黑客松比赛。
积极分享，参与并引导主题讨论。比如，在 Slack 创建相关频道并分享不错的文章、论文，或者分享在GitHub 和 Hugging Face 上制作小原型。
与决策者沟通对话，提供有价值的见解和可行方案。比如，借鉴某产品的AI功能实现方式，或者引入新的AI框架或者开发工具，并帮助他们理解如何应用新技术。

快速行动，积极参与产品的构建和发布。作者在公司内部开展了名为 Guide Book 的AI项目，用6周时间突破障碍并最终发布，取得了非常不错的成绩。
回到初学者心态。转型就意味着走出舒适圈，重新经历困惑和痛苦。这对于资深开发者来说还是很有挑战的。
模型评估是最有挑战性且至关重要的核心技能。
与业界分享经验。积极参与大型活动并争取发言机会，并借此结识更多同行者。

作者给出了一份必须清单

坚定职业选择的信心

我如何成为一名机器学习从业者 → https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner
是时候成为一名机器学习工程师了 → https://blog.gregbrockman.com/its-time-to-become-an-ml-engineer

理解机器学习基本概念

[Book] 百页机器学习 → https://www.amazon.co.uk/Hundred-Page-Machine-Learning-Book/dp/199957950X
[Video] 线性代数的本质 → https://www.youtube.com/watch？v=kjBOesZCoqc&list=PL0-GT3co4r2y2YErbmuJw2L5tW4Ew2O5B

LLM爆发带来的机会

文本是通用接口 → https://scale.com/blog/text-universal-interface
LLM应用的新兴架构 | Andreessen Horowitz → https://a16z.com/emerging-architectures-for-llm-applications

LLMs及其工作原理介绍

图解 Transformer | Jay Alammar → https://jalammar.github.io/illustrated-transformer
[Paper] Attention Is All You Need → https://arxiv.org/pdf/1706.03762
[YouTube] Andrej Karpathy → https://www.youtube.com/@AndrejKarpathy/videos
What Is ChatGPT Doing … and Why Does It Work？ | Stephen Wolfram → https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work

微调

[Episode 1] LLM 实验 (Fine Tuning) → https://adamfallon.com/2024/01/30/experiments-in-llms-episode-1-fine-tuning

向量数据库 + 嵌入

[Episode 2] LLM 实验 (Memory - Vector DBs and Embeddings) → https://adamfallon.com/2024/01/30/experiments-in-llms-episode-2-memory-vector-dbs-and-embeddings

4. 从招聘者视角谈谈，AI Engineer 的最佳技能组合 1， 2， 3

Elicit 是一家生成式人工智能初创公司。

工程主管 James Brady 写了一篇博文「How To Hire AI Engineers」，分享自己2020年转型AI后的发展历程，以及目前对公司 AI Engineer 这一岗位的人员招聘和培养心得。

一片混沌的当下，有工程团队愿意结合实际经验分享内部信息，并且尝试给出岗位明确的界定，是一件非常难得的事情 🥳

一位出色的 AI Engineer 可以把看似对立的特质融合起来：既能了解模型能力边界并对其留有敬畏，也能理解不完美的现状，并基于此构建弹性和高性能的系统。

[必备技能1] 传统的软件工程技能，特别是在复杂的、数据密集型应用程序上的后端工程经验

在大规模应用中的专业、实战经验
在几个后端 Web 框架上的深入、实践经验
一定的 DevOps 知识和对基础设施最佳实践的理解
队列、消息总线、事件驱动和无服务器架构……拥有丰富的工具箱

[必备技能2] 对语言模型能力，有着真正的好奇心和热情

在以有趣方式使用语言模型，并且有一个或多个比价正式的项目
具备一定程度的分解认知能力**，例如把问题分解后，知道哪些任务可以交给语言模型，哪些要保留在传统的启发式和计算能力领域
对 ML 有一定的了解，以便跟机器学习工程师或机器学习专家等进行沟通

[必备技能3] 理解使用大模型带来的挑战，形成防御性、故障优先的思维方式

仔细而有原则地处理错误情况、异步代码、流式数据、缓存、日志记录和分析，了解生产环境中的行为
AI Engineer 即使在相对较小的规模上工作时，也需要培养防御性、故障优先的思维方式

AI Engineer 面试流程 (原文和播客介绍得非常详细，包含大量的工程实践细节，推荐！)

30分钟的介绍性对话。非技术性，了解候选人的职业发展路径和目标。
60分钟的技术面试。编程练习，要求候选人完成一个小型Web应用程序进行修改。
60-90分钟的非技术面试。回顾候选人的专业经历，识别高光时刻和低谷，了解他们在哪些类型的挑战和环境中能够茁壮成长。
现场面试。在办公室度过半天，尽可能多地与团队成员见面，进行更多的技术和非技术对话。

How To Hire AI Engineers → https://blog.elicit.com/how-to-hire-ai-engineers/

一份值得所有AI企业学习的 JD | AI Engineer → https://elicit.com/careers？ashby_jid=d27d51d7-b318-4cb0-9b88-c37de18905f3

Elicit 公司官网的 AI Engineer 岗位招聘说明也非常棒！

不仅详细说明了公司对这个岗位的定位，还给出了目前全部的技术栈、几道自测题，帮助候选人判断是否合适。

而且！还给出了入职后的工作安排，详细到第一周、第一个月、第一个季度的关键进展，都有详细的说明，真的非常清晰且负责 👍

[Latent Space] How To Hire AI Engineers → https://www.latent.space/p/hiring

文章作者 James Brady 也在上个月做客 Latent Space 播客频道，接受主持人 Swyx 的采访，围绕文章和 How To Hire AI Engineers 这个主题，分享了更多多多实际工程经验 (非常多的细节和技巧)~

如果你想成为 AI Engineer，或者想判断下自己的水平，建议收听完整播客节目，或者查看页面转录的文字版本。

5. AI Engineer 的机器学习阅读清单，正所谓技多不压身~

Elicit Machine Learning Reading List → https://github.com/elicit/machine-learning-list

James Brady 在 👆 上面文章和播客里反复提到「Elicit Machine Learning Reading List」，也就是 Elicit 公司内部整理的一份 机器学习阅读清单，可以帮助 AI Engineer 快速了解 ML 相关背景知识，以及语言模型的重点内容。

掌握最核心的 ML 相关技能，对 AI Engineer 来说是大大的加分项 🥳 也是真正「入行」必须迈过的门槛~

以下是内容目录。不过，需要说明的是，对于 AI Engineer 的技能边界，业内还没有完全形成共识，所以这个清单也仅供参考~

基础知识

机器学习入门
Transformers
基础模型结构
训练与微调

推理与执行策略

情境推理 In-context reasoning
任务分解 Task decomposition
辩论策略 Debate
工具应用与辅助
Honesty， factuality， and epistemics

应用领域

科学研究
预测分析
搜索与排序

机器学习实践

实际部署
性能评估
数据集管理

高级议题

世界观模型与因果关系
决策规划
不确定性处理、模型校准与主动学习
模型可解释性与调整
强化学习技术

宏观视角

AI的扩展与应用
AI的安全性问题
AI对经济和社会的影响
AI哲学思考

维护者

以 Transformers 板块为例。可以看到，清单中每部分内容都包含4个 tier。按照从1到4的顺序阅读，即可基本覆盖这部分的内容要点~

而且！清单还在持续更新中！✨ 表示在今年4月进行了补充

6. AI Engineer 的面试考察要点，以及资深面试官的「秘密」题库

原文 → https://eugeneyan.com/writing/how-to-interview

Eugene Yan 的上一篇文章你一定读过 | What We’ve Learned From A Year of Building with LLMs → https://applied-llms.org/

Eugene Yan 最最最新长文！

大佬分享了团队在 AI Engineer 招聘时的技能要求，并且给出了非常具体的判断标准。而且！每项技能还给出了几道面试题！！

敢于在行业混沌初期立标准，大佬的魄力不服不行~