想要转行ai赛道？看完这篇少走三年弯路（附大模型教程）

本文链接：https://blog.csdn.net/2401_82469710/article/details/147049049

最近有朋友说，想转行ai赛道，做大模型之类的工作，不知道有哪些岗位。今天就来聊聊，AI大模型有哪些方向，新人怎么转行大模型赛道，让大家少走弯路，早日在AI领域如鱼得水！

其实，在招聘网站上搜搜 “大模型”，看看那些招聘要求，就能大概了解大模型工程师都有哪些方向了。主要分为下面这四类：

数据治理方向：大模型数据工程师，主要负责爬虫、数据清洗、ETL、Data Engine、Pipeline 这些工作。简单说，就是要把数据整理得妥妥当当，让模型能 “吃” 得好。
平台搭建方向：大模型平台工程师，负责分布式训练、大模型集群以及工程基建等。他们就像是大模型的 “建筑工人”，打造出能让模型高效运行的平台。
模型算法方向：大模型算法工程师，主要涉及搜、广、推、对话机器人、AIGC 这些领域。听起来是不是超酷，一听能做出很厉害的产品！
部署落地方向：大模型部署工程师，负责推理加速、跨平台、端智能、嵌入式这些工作。他们要确保模型能顺利在各种设备上运行起来。

下面分别对这四个方向的工作内容进行展开。

1、数据治理 —— 被轻视的宝藏领域

很多人可能觉得自己学了好多算法知识，再去做数据工作有点大材小用了。其实不然！对于很多转行大模型的同学来说，做数据可是更容易上岸的途径呢！

现在国外的大模型技术比国内领先不少，虽然国内有很多 “大模型”，但真正厉害的没几个。为啥呢？除了一些技术没突破，数据和工程技巧也很关键。

就拿数据来说，通用大模型训练的数据来源、采集、质量把控、有毒信息过滤、语言筛选与比例、去重和规范化处理，还有评测集构建，这些都是技术活，也是体力活。

在垂直领域，像金融、电商、法律、车企这些，数据构建更难了。业务数据从哪来？数据不够怎么办？怎么构建高质量微调数据？要是能把这些问题解决好，模型就成功一大半啦！所以现在有经验又有能力的数据工程师是比较稀缺的。

2、平台搭建——保障高性能计算

要是你以前是做工程的，或者对工程感兴趣，那大模型平台工程师这个方向很适合你。

这个方向其实就是为大模型业务服务的，打造大模型的基础设施，让模型训练得更好、跑得更快，有分布式计算、并行计算，总之就是保障高性能计算。

具体都做些啥呢？

硬件层面，要搞大模型训练集群，像 GPU 集群、CPU/GPU 混部集群，得管理好几百上千张卡，还要关注它们的利用率和健康状况。中小公司通常开发和运维都得干。
平台层面，要做 LLMOps，也就是 pipeline，把数据 IO、模型训练、预测、上线、监控都整合起来，跟着业务团队走，造些好用的工具，给业务团队省时间。

3、模型算法——传说中的算法工程师

好多小伙伴一看到大模型算法岗，可能立马就被吸引了，觉得能做出超厉害的产品，站在行业前沿。

但是，在 AI 这行，模型算法应用是很需要业务经验的。如果你本来就是做算法相关的，比如 NLP、语音助手或者对话机器人，那继续做这个方向的大模型算法工程师是合适的。

但如果你是 CS 方向的实习生、应届毕业生，或者其他 IT 行业转过来的，这不一定是最好的选择。

别以为大模型算法工程师就是调调模型、改改超参、做做预训练和 finetune 这些简单活儿。实际上，一个团队里干这些核心算法优化的没几个人，大部分新人进去都是先干些配环境、搭链路、清洗和分析数据、调研、写函数工具这些基础工作。

等这些干熟练了，才有可能跑些模型实验，表现好的同学才有机会接触线上业务。有些同学干了好几年，还在做些边角料的活儿，根本接触不到核心业务呢！

所以刚入行的小伙伴，如果学历背景好，可以去大公司实习争取转正；背景一般的话，去中小公司积累业务经验也是不错的。

4、部署落地——实现AI价值最后一公里

大模型部署主要有两个方向：云端部署和端侧部署。

云端部署，可以做推理加速平台，给特定模型做定制化加速，像 Qwen - 7b 的加速，也可以做大模型推理引擎，在高并发用户场景下，保证用户体验的同时优化延迟和吞吐量。
端侧部署，就是要在消费级 GPU/NPU 和边端设备上把模型部署好，还要让领域大模型小型化，实现工程落地。

这个岗位对工程、系统和硬件方面的能力都有要求，虽然现在有各种推理框架降低了点难度，但还是挺有挑战性的，不太建议新人直接做，可以先从平台方向入手，再慢慢转到部署方向。

最后，给新人的一些小建议

别光盯着 finetune、SFT、RLHF 这些，虽然系统学习是必要的，但不需要花太多精力哦。
想做应用方向的小伙伴，建议聚焦在某个垂直领域，比如对话机器人、问答系统，或者金融、医疗、教育这些方向，选一个具体场景好好做，做深做透。
一定要多关注数据，像 data pipeline，高质量训练 / 测试集的构建经验，还有对数据的敏感度，这些在未来工作中非常有用。
记住，大模型不只有算法，工程也很重要。大公司都在拼基建，好的平台对业务支撑作用可大了，是大模型产品成功的关键因素！

好啦，小伙伴们，希望这些能对你们入行大模型有所帮助，祝大家都能在这个领域发光发热！

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望