本文介绍了成为 AI 工程师的详细路线图,包括必要技能、学习资源、项目创意以及如何通过构建实际项目来提升这些技能。原文:Roadmap to Become an AI Engineer[1]
AI 是构建所有技术的新范式。-- Clem Delangue(HuggingFace 联合创始人)
在确定 AI 工程师必将成为下一个重要的技术角色[2]之后,是时候学习如何成为一名 AI 工程师了。
本文将探讨对如下内容:
- 从软件工程师到 AI 工程师的路线图。
- 成为 AI 工程师所需的技能。
- 在发展技能的同时,应该学会使用的工具。
- 发展这些技能的最佳途径。
让我们先看看路线图!
成为 AI 工程师的路线图 🧭
Harshit Tyagi 的 AI 工程师路线图
先说第一件事!
目标读者
计划提升 AI 工程技能的程序员/软件工程师/分析师/数据科学家。
由于这是一项核心工程技能,因此需要具备以下先决条件:
- 对 Python / JS 编程的了解达到中级水平。
- 理想情况下,必须拥有至少 2-3 个中等复杂度应用程序的编码经验,如使用 Flask 或 Rails 或 Node.js 编写博客应用。
- 至少可以轻松通过阅读文档来构建项目。
- 可以使用 VS Code 等 IDE 进行编码。
- 使用 git 和 GitHub 虽然也很重要,不过可以在项目工作中学习。
路线图分解
如图所示,整个 AI 工程的学习分为三个阶段,在路线图中从左到右,即从初级到中级再到高级。
以下是每个阶段所代表的意义:
- 初学者(<= 1 个月) – 构建基本应用程序,学习使用 LLM API、为应用程序精心设计提示以及使用开源 LLM。
- 中级(~ 2 个月) – 深入了解如何使用 RAG(Retreival Augmented Generation)构建更多上下文感知高级应用程序,了解并使用向量数据库,学习使用 LLM 和工具构建代理。
- 高级(~ 3 个月) – 在掌握构建应用程序之后,学习使用 LLMOps 在生产中部署、优化和管理由 LLM 驱动的应用程序,学习微调预训练模型,以便高效、低成本的适配下游应用程序。
初级技能
- 了解 LLM 基础知识,只需了解 ChatGPT 的高级工作原理。
- 学习开发人员提示工程,学习如何编写提示来提高 LLM 的响应速度。
- 学习从 API 获取数据,学习处理 JSON 数据。
- 学习调用闭源或开源 LLM 模型、函数调用、传递提示和解析响应。
- 学会在对话中管理上下文。
- 学习基于 langchain 创建并自动执行一系列操作。
- 基于 Gradio 或 Streamlit 实现 POC 并演示基本应用开发。
- 在 HuggingFace Space 或 Streamlit 云上进行基本部署。
- 基于 HuggingFace
transformer
库支持多模态,即支持生成代码、图像和音频。
中级项目需求
- 了解向量嵌入和向量数据库。
- 学习如何在应用中使用向量数据库。
- 构建 RAG 应用,与知识库聊天。
- 开发先进的 RAG 流水线,如子问题查询引擎,该引擎可在通过多个数据源后提供响应。
- 构建代理,迭代工作流程,以完成重大任务。
- 建立多代理应用,让多个代理共同提供更好的解决方案。
- 多代理自动化 - Autogen 和 Crew AI
- 评估 RAG/RAGA 框架。
- 管理数据库,检索,部署完整应用,版本控制,日志记录以及监控模型行为。
高级项目需求
- 量身定制针对特定领域知识的响应,如医学研究、金融研究和法律分析,对预训练 LLM 进行微调。
- 整理数据集并设计(ETL 流水线)流水线,以便对模型进行微调。
- 评估模型性能并设定基准。
- LLMOps – 构建包括模型注册、可观测性和自动化测试在内的完整端到端流水线。
- 构建多模态应用 – 文本和图像混合语义搜索。
- 构建 SDK、软件包和定制解决方案,以帮助其他开发人员。
- 基于提示黑客等技术保护 AI 应用,并通过检查漏洞和潜在风险来采取防御措施。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。