大模型新人必看经验，刷到少走数月弯路！

AI-入门

于 2024-10-07 09:50:35 发布

阅读量483

点赞数 8

文章标签：人工智能面试产品经理 langchain 数据库 agi

本文链接：https://blog.csdn.net/2401_86518761/article/details/142735985

版权

前言

在这篇文章中，我将结合自身在大模型领域的丰富经验，为大家深入剖析新人应如何成功转行大模型赛道。具体内容包括大模型有哪些方向、各方向的能力要求与岗位匹配、新手转行常踩的坑和常见误区，以及入行大模型最为顺滑的路径。如果你是正打算踏入大模型领域的校招或社招同学，那么请务必认真读完，它或许能让你在转行大模型的道路上少走许多弯路。

一、大模型的方向分类

倘若你在求职网站上搜索“大模型”关键词，仔细查看招聘 JD，便能大致了解当前业内对大模型工程师的需求方向和能力要求。总结而言，可以分为以下四类：

做数据的：大模型数据工程师，主要负责爬虫、清洗、ETL、Data Engine、Pipeline 等工作。
做平台的：大模型平台工程师，从事分布式训练、大模型集群、工程基建等方面的工作。
做应用的：大模型算法工程师，涉及搜、广、推、对话机器人、AIGC 等领域。
做部署的：大模型部署工程师，负责推理加速、跨平台、端智能、嵌入式等工作。

二、新手的常见误区

看到这几个方向，你会如何选择呢？估计很多人会毫不犹豫地直奔第三点，坚定地认为要做应用，走在所有工种的最前沿，创造出能让老板和用户都看得见的核心“产品”。然而，在这里我不得不给各位泼一盆冷水。在 AI 算法这个行业，第三类方向非常依赖业务经验。如果你之前本身就是从事算法工作的，比如做 NLP，或者是做语音助手、对话机器人这类的，再顺势而为去做相关方向的大模型算法工程师，这是比较合适的。在自身业务中融入一些大模型的算法和技法，取得实际的业务产出，这样在市场上也比较容易找到这类岗位。但如果你是 CS 方向的实习生、应届毕业生，或者是其他 IT 方向转行大模型，那么第三类未必是最佳选择。大家不要陷入一个误区：认为大模型算法工程师就是调模型、调超参、做预训练、做 finetune、SFT 之类的工作。实际上，这部分工作只有极少数人在做，基本一个团队中只有个位数的人从事，或者只是算法工作的很小一部分。需要注意的是，新人进去后，90%以上都不可能直接让你从事算法模型调优的工作，大部分可能会让你配置环境、搭建链路、清洗数据、分析数据、进行调研、编写 function 和 tools。只有在这些体力活都干熟练了以后，才可能会让你进行一些模型实验。其中表现出色、头脑灵活的同学，才会逐渐开始接触线上业务。还有很多同学，干了好几年，仍然在做一些边角料、脏活、杂活，根本接触不到核心业务。对于刚入行的新人来说，如果你的学历背景较好，可以去大公司做 intern 然后转正；背景稍差一些的，可以去中小公司积累业务经验。

三、数据的重要性

很多人可能往往忽视了上述的第一、二、四类方向，觉得自己学了这么多算法知识，学了机器学习、深度学习，还了解大模型，再去做数据，有点大材小用了。但我要告诉你的是，第一类方向是更多转行大模型的同学更容易上岸的方式。条条大路通罗马，并非只有一条路可走。首先，目前国外的大模型技术至少领先国内两年，虽然国内已经有几十上百个“大模型”了，但真正能打的并没有几个。究其原因，还是有很多技术没有突破。就算法本身而言，GPT 已经不是什么秘密了。那么剩下的还有什么呢？一是数据，二是工程技巧。以数据为例，先说通用的大模型训练，数据的来源在哪里，如何采集，数据的质量如何把控，怎样过滤有毒信息，语言的筛选与比例如何确定，数据的去重以及规范化处理怎么做，评测集的构建又是怎样的。这些工作既是体力活，又是技术活。对于垂直领域，比如金融、电商、法律、车企等，这种领域数据的构建就更考验技术了。业务数据从哪里来，数据不够怎么办，完全没有数据又该如何？如何构建高质量的微调数据？能把这些问题解决好，模型也就成功了一大半。因此，就目前的现状而言，对于数据工程师，特别是有经验的数据工程师，是非常稀缺的。

四、大模型平台的工作内容

接着说说第二类方向，大模型平台工程师。如果你之前是做工程的，或者对工程比较感兴趣，我比较建议你选择这个方向。大模型平台工程师和大模型基础设施建设并无本质区别，都是为了大模型业务服务，其作用是让大模型训练得更好、跑得更快。这块主要做些什么呢？从计算层面来说，有分布式计算、并行计算、高性能计算，有些公司对这三者也不加区分。从硬件层面来说，有搞大模型训练集群、GPU 集群、CPU/GPU 混部集群，要管理几百上千张卡的池子，还要负责它们的利用率、机器的健康状况，查看有没有故障的。在中小公司，这块基本都是开发和运维一体的，一个人干两个工种的活。从平台层面来说，有做 LLMOps 的，也就是 pipeline。集数据 IO、模型训练、预测、上线、监控于一体，这种就是跟着业务团队走，进行适配，打造很多高效的轮子，方便业务团队使用，减少他们额外重复开发的时间。整体上来说，在大模型时代，这个方向稳中有升。因为实际上很多公司这方面的人都是从之前搞深度学习平台、大规模机器学习平台的人招过来的，技术上的差距相对比较小。因此，对于对 AI 工程感兴趣的人来说，可以选择这个方向。

五、大模型部署的工作范畴

最后说一说第四类方向，大模型部署工程师。这个岗位之前就存在，不过在大模型这一两年尤其火热。原因何在呢？因为部署大模型太费钱了。首先，模型延迟本身就高，30B 以上的模型对算力、显存要求很高。老板关心什么呢？一方面是大模型产品，也就是业务指标要好看，方便 PR；另一方面也要求控制成本（大厂/独角兽除外）。一般企业里，一个 P8 级别的 leader，要在公司里抢业务、拉资源、找人力，本身就是一件不容易的事。“降本增效”是 2023 年以来几乎所有公司的主旋律。所以老板们很关心你节约了多少钱，比如你把推理效率提高一倍，那就实实在在降低了一倍的成本。回到大模型部署工程师这个岗位，总体有两个方向的工作：云端部署和端侧部署。云端比较好理解，可以做推理加速平台，也可以随着业务走，做大模型定制化加速，比如 Qwen-7b 的加速。还可以做大模型推理引擎，比如搜索/问答的推理引擎，一般是在高并发用户场景下，在保证用户 SLO 的前提下，最优化 latency 和 throughput。另一个大方向是端侧的部署，也就是在消费级 GPU/NPU 以及边端设备下，部署大模型，同时让领域大模型小型化，让业务能实际工程落地。总的来说，大模型部署工程师对工程能力、系统能力以及硬件等方面都要有一定的了解。现在各种推理框架出来以后，降低了一点难度，但仍然是一个比较有竞争力的工种。你得了解计算图和 OP 的优化，得了解各种推理框架、缓存/显存优化，还有 LLM 结构运行时的系统架构。这个岗位一般不推荐新人入场，因为太吃经验了。建议先从第二类方向进场，然后逐步转到第四类方向。

六、总结与建议

最后，给准备入场大模型的新人几点建议：