从码农到AI大师：AI工程师定位与成长全攻略！

前言

随着生成式人工智能(GenAI)的早期成功迹象，每家具有前瞻性思维的科技公司都在争先恐后地为其产品、客户支持机器人和市场营销注入AI功能，其中仅来自初创公司的收入就超过了 10 亿美元。人工智能作为一种技术，正处于与互联网在上世纪 90 年代末的发展阶段类似的阶段：爆发式发展的前夜。

为了发现这一趋势，我查看了YCombinator公司的投资组合。对于那些不知道的人，YCombinator是一家位于美国的著名创业加速器。他们支持了许多现在已经成为科技巨头的初创公司，如Airbnb、Dropbox、Stripe、Reddit。

这是我们得到的，看看从2017年到2023年使用人工智能构建的公司数量。自2021年以来，使用人工智能构建的公司数量显著增加，然后在2022年ChatGPT发布后急剧上升。

这给了我们信心，即未来将有越来越多的公司使用人工智能构建，这将导致对AI工程师的需求增加。而且，对于任何程序员来说，现在开始构建和学习都是最好的时机。

看看红杉资本(Sequoia)的这张生成性人工智能市场地图。应用层充满了几乎每个领域中的用例和公司：

人工智能开发领域已经发展到拥有开源的大型语言模型（LLMs）、框架和现成的API，可以快速启动，社区已经发展到可以获得所需的支持。

人工智能初创公司、人工智能加速器项目、开源代码库、软件开发工具包（SDKs）、包、云平台合在一起使得AI系统可以快速构建和应用。曾经需要一个专门的研究团队和多年的密集工作，现在可以通过API文档和几天的专注工作来有效管理。因此，我们需要越来越多的AI工程师！

AI工程师定位和职责

那么，一个构建者（喜欢构建产品的人）或工程师如何开始进入人工智能领域呢？为了回答这个问题，你首先需要了解该领域正在发生的一切。

我们将当今人工智能的主要开发领域分为三个不同的层：

• 应用开发——这一层包括使用一些智能体工程框架（如Langchain、LlamaIndex、Autogen、PromptAppGPT等）在现成的大型语言模型API之上开发应用程序（接口），然后监视和评估你的应用程序。这是最活跃和热闹的层。这是金钱所在。用例越真实，价值就越大。要开发这些人工智能应用程序，你需要专业知识在一组特殊的工程技能中，我将在本文后面解释。

• 模型开发——再深入一层，我们在这里处理一切可以提供更优化模型的事情。工程化数据集、分布式训练、评估和基准测试，以及使用各种工具的推理服务。这一层需要深度学习、分布式系统、数据集策划和工程的深厚专业知识。

• 基础设施——支撑一切的是基础设施层，包括硬件、云服务提供商和GPU，这些大型模型在这里进行训练。这一层需要在计算（操作系统、网络、安全）、分布式系统以及当然的人工智能模型开发方面的深厚专业知识。

除此之外，还有另一层研究关注人工智能风险和安全对齐，以防范流氓人工智能。这是OpenAI今年早些时候推出的1000万美元超级对齐资助计划。

鉴于应用层的高关注度，这导致了对一种特殊工程师的需求增加，他们知道如何在人工智能之上构建。尽管这些工程师没有标准术语，但大多数公司都称他们为AI工程师。

那么我们如何定义AI工程师的角色？他们需要是人工智能或深度学习的专家吗？AI工程师是专门利用人工智能技术开发全面形式不可知应用程序的程序员。“形式不可知”指的是应用程序类型的多样性，从简单的聊天界面到复杂的全栈应用程序、Chrome扩展、Python包或SDK。

与深入研究算法基础的人工智能研究人员不同，智能体工程师专注于应用现有的人工智能模型来创建以用户为中心的产品。这个角色不需要详尽的人工智能原理知识，例如理解Transformer模型的内部工作原理，就像学习游泳不需要深入研究浮力物理学一样。

虽然深厚的深度学习和机器学习知识可能是有利的，提供了明显的优势，但当前的行业需求更倾向于实际应用而不是理论研究。

那么，我们如何区分智能体工程师和人工智能研究人员呢？

AI工程师擅长创建人工智能驱动的应用程序，专注于最大化模型能力并优化大型语言模型（LLMs）的工作流程。你可能会问，如果人工智能研究人员是擅长工程并且对人工智能有深厚专业知识的人，为什么公司不雇用他们而不是AI工程师？简短的答案是这种人非常稀缺，会反过来导致成本增加。

AI工程师将成为一个重要的技术角色：

• 需求和供应动态：所有顶尖的大型语言模型研究人员已经被像谷歌、OpenAI、微软和Meta这样的巨头选中，这种大型语言模型研究人员的稀缺性预示着对AI工程师的迫切需求。这类专业人士作为前沿研究和实际应用之间的桥梁，确保了人工智能技术的更广泛可访问性和实施。
• 快速原型设计和敏捷性：与传统的机器学习方法不同，这些方法需要大量研究我们是否需要为一个问题使用机器学习，AI工程师可以快速原型设计并迭代使用现成的模型API的人工智能产品。
• 创新变得更容易和更快：基础模型在各种任务上表现出显著的适应性，输入最小，这使得AI体工程师能够利用这些能力创造出超出研究人员最初设想范围的创新解决方案。
• 推理优化以应对计算限制：对GPU的需求不断升级和专门的计算集群的形成强调了AI工程师的重要性，他们优化模型性能。

虽然推荐系统、欺诈检测和异常检测等传统机器学习问题将继续改进，但我们还有一系列全新的人工智能应用程序需要满足。

AI工程师成长路线图

在确定了AI工程师如何成为下一个重要的技术角色之后，我们提供成为AI工程师的路线图：

此路线图的目标对象为希望提升AI工程技能的程序员/软件开发工程师/分析师/数据科学家。

以下是学习AI工程技能的先决条件：

• 对 Python/JS 编程有中级理解。
• 最好有至少 2-3 个中等复杂度应用程序的编码经验，比如使用 Flask、Rails 或 Node.js 开发的博客 Web 应用程序。
• 你至少能够舒适地阅读文档以构建。
• 你能够在像 VS Code 这样的 IDE 中舒适地编码。
• 熟练使用git和GitHub。

我把整个 AI 工程轨道分解为 3 个阶段，即从初学者到中级再到高级，以下是每个阶段代表的内容：

• 初学（<= 1 个月）- 构建基本应用程序，学习如何使用大型语言模型（LLM）API，为你的应用程序精心设计提示，并使用开源 LLM。
• 中级（约 2 个月）- 深入构建更多上下文感知的高级应用程序，使用检索增强生成（RAG）。了解向量数据库及其工作方式。学习如何使用 LLM 和工具构建智能体。
• 高级（约 3 个月）- 在掌握应用程序构建之后，学习如何使用 LLMOps 在生产中部署、优化和管理 LLM 驱动的应用程序。学习如何微调预训练模型，以高效且低成本地适应下游应用程序。

AI工程师初学级别的技能如下：

• 理解 LLM 的基础知识 - 你应该知道 ChatGPT 在高层次上是如何工作的。
• 学习开发者的提示工程。如何编写提示以改善 LLM 的响应。
• 学习从 API 消费数据，学习如何使用 JSON 数据。
• 学习调用封闭和开源的 LLM 模型，函数调用，传递提示和解析响应。
• 学习如何管理对话中的上下文空间。
• 学习创建和自动化一系列操作 - 使用 langchain 的链。
• 使用 Gradio 或 Streamlit 进行基本应用程序开发，用于 POC 和演示。
• 部署你的应用程序以使其可访问 - 在 HuggingFace Space 或 Streamlit Cloud 上的基本部署。
• 多模态生成 - 使用 HuggingFace transformer 库进行代码、图像、音频生成。

AI工程师中级级别的技能如下：

• 理解向量嵌入和向量数据库。
• 学习如何为你的应用程序使用向量数据库。
• 构建检索增强生成（RAG） - 与你的知识库聊天。
• 开发高级 RAG 管道，如子问题查询引擎，可以在经过多个数据源后提供响应。
• 构建智能体 - 迭代工作流程以完成一个大任务。
• 构建多智能体应用程序，多个智能体协同工作以提供更好的解决方案。
• 使用多个智能体的自动化 - Autogen 和 Crew AI
• 评估 RAGs - RAGAs 框架。
• 管理数据库，检索，部署完整应用程序，版本控制，记录和监控模型行为。

AI工程师高级级别的技能如下：

• 针对特定领域知识进行预训练 LLM 的微调，以适应特定领域的知识和定制响应，如医学研究、金融研究、法律分析。
• 策划数据集并设计（ETL 管道）模型微调的管道。
• 评估和基准测试模型性能
• LLMOps - 使用模型注册表、可观测性和自动化测试构建完整的端到端管道。
• 构建多模态应用程序 - 文本和图像的混合语义搜索
• 构建 SDK、包和自定义解决方案以启用其他开发人员
• 使用提示黑客技术和通过检查漏洞和潜在风险纳入防御措施来保护你的 AI 应用程序。

以下是你的技能应该随着足够的时间构建应用程序和调整模型而成长的路径：

如何学习大模型AI

如果正在看文章的你，想要学习AI，但苦于没有方向，不知道怎么学习，这里分享一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频。这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】