19-10 LLM之野望 10 - 如何成为一名AI工程师

在确定人工智能工程师如何成为下一个重大技术角色之后，是时候学习如何成为一名人工智能工程师了。

这篇文章解释道：

• 从软件工程师转型为人工智能工程师可以遵循的路线图。
• 成为人工智能工程师所需的技能。
• 在培养这些技能时您应该学会使用的示例工具。
• 培养这些技能的最佳方法。

先来揭晓路线图吧！

成为 AI 工程师的路线图

首先要做的事！

它适合谁？

计划提升 AI 工程技能的程序员/SDE/分析师/数据科学家。

由于这是一项核心工程技能，因此需满足以下先决条件：

• 对 Python/JS 编程有中级水平的理解。
• 理想情况下，你必须具有编写至少 2-3 个中等复杂应用程序的经验，例如使用 Flask、Rails 或 Node.js 编写的博客 Web 应用程序。
• 你至少可以轻松地阅读构建文档。
• 您可以轻松地在 VS Code 等 IDE 中编写代码。
• 使用 git 和 GitHub 虽然很重要，但可以在从事项目的过程中学习。

分解路线图

我把整个 AI 工程轨迹分为 3 个阶段，如图所示，您可以在此路线图中从左到右，即从初学者到中级再到高级。

每个阶段代表的内容如下：

1. 初学者（<= 1 个月） ——构建基本应用程序以学习使用 LLM API，为您的应用程序精心设计提示并使用开源 LLM。
2. 中级（约 2 个月） — 深入使用检索增强生成 (RAG) 构建更多上下文感知的高级应用程序。了解矢量数据库及其使用方法。学习使用 LLM 和工具构建代理。
3. 高级（约 3 个月） — 掌握应用程序构建后，学习使用 LLMOps 在生产中部署、优化和管理基于 LLM 的应用程序。学习微调预训练模型，以高效且低成本的方式适应下游应用程序。

初级技能如下：

• 了解 LLM 的基础知识 — 你应该知道 ChatGPT 的高层工作原理。
• 学习面向开发人员的提示工程。如何编写提示来提高 LLM 的响应。
• 学习从 API 中获取数据，学习处理 JSON 数据。
• 学习调用封闭和开源 LLM 模型、函数调用、传递提示和解析响应。
• 学会从对话中管理上下文空间。
• 学习创建和自动执行一系列操作 — 使用 langchain 的链。
• 使用 Gradio 或 Streamlit 进行 POC 和演示的基本应用程序开发。
• 部署您的应用程序以使其可访问 – 在 HuggingFace Space 或 Streamlit 云上进行基本部署。
• 多模式生成——使用 HuggingFace 库的代码、图像、音频transformer。

中级项目需要：

• 了解向量嵌入和向量数据库。
• 学习如何在您的应用程序中使用矢量数据库。
• 构建检索增强生成 (RAG) — 与您的知识库聊天。
• 开发先进的 RAG 管道，如子问题查询引擎，可以在经过多个数据源后提供响应。
• 构建代理——迭代工作流程来完成一项大任务。
• 构建多代理应用程序，其中多个代理共同协作以提供更好的解决方案。
• 使用多个代理实现自动化 — Autogen 和 Crew AI
• 评估 RAG — RAGA 框架。
• 管理数据库、检索、部署完整的应用程序、版本控制、日志记录和监控模型行为。

高级项目需要您：

• 对预先训练好的 LLM 进行微调，以获得特定领域的知识和定制响应，例如医学研究、金融研究、法律分析。
• 整理数据集并设计（ETL 管道）管道以进行模型微调。
• 评估和基准测试模型性能
• LLMOps——通过模型注册、可观察性和自动化测试构建完整的 e2e 管道。
• 构建多模式应用程序——文本和图像的混合语义搜索
• 构建 SDK、软件包和定制解决方案，以帮助其他开发人员
• 使用即时黑客攻击等技术并通过检查漏洞和潜在风险来采取防御措施来保护您的 AI 应用程序。

随着花费足够的时间来构建应用程序和调整模型，您的技能应该如何进步：