大模型时代需要什么样的人才？

近些年迅速发展的大规模预训练模型技术，正在让机器逐渐具备像人一样的认知智能，但是也对算法、系统、算力提出新的需求和挑战。那么，未来 AI 的架构将会是怎样的？

大概从去年，进入了另外一个新的时代——大模型时代。在大模型时代，算法人员无法从头训练一个模型，而是需要依赖于基础模型，并且以基础模型去适配下游应用场景。

一、大模型认知范式演变

为什么说算法人员训不了，就是咱们之前说的几个大：大数据，大算力，大模型

第一、它依赖于大的数据，也就是海量文本数据；

第二、模型比较大，从几十亿、几百亿，甚至几千亿、几万亿的参数规模；

第三、大算力，动不动上百张卡，上千，上万张卡，大规模的算力集群。

而现在只是开始…

二、大模型算法优势

相比传统 AI 模型，大模型的优势体现在：

1）解决 AI 过于碎片化和多样化的问题，极大提高模型的泛用性。应对不同场景 时，AI 模型往往需要进行针对化的开发、调参、优化、迭代，需要耗费大量的人力成 本，导致了 AI 手工作坊化。大模型采用“预训练+下游任务微调”的方式，首先从大量标记或者未标记的数据中捕获信息，将信息存储到大量的参数中，再进行微调，极大提高模型的泛用性。

2）具备自监督学习功能，降低训练研发成本。我们可以将自监督学习功能表观理 解为降低对数据标注的依赖，大量无标记数据能够被直接应用。这样一来，一方面降低人工成本，另一方面，使得小样本训练成为可能。

3）摆脱结构变革桎梏，打开模型精度上限。过去想要提升模型精度，主要依赖网络在结构上的变革。随着神经网络结构设计技术逐渐成熟并开始趋同，想要通过优化神经网络结构从而打破精度局限变得困难。而研究证明，更大的数据规模确实提高了模型的精度上限。

三、大模型产研变革

从算法层面来看：从碎片化和多样化算法统一到以Transformer为核心的生成式架构：算法统一

从开发流程来看：从烟囱式的独立开发，到大一统的基础模型训练或优化：开发统一

从交互层面来看：从各个各样的独立接口结构化调用到以自然语言交互为核心的交互演变：交互统一

从商业模式来看：B2B2C、 MaaS服务、垂直领域应用将是大模型时代AI发展的重要趋势

从付费模式来看：订阅付费、按需付费、公有云交付、私有化部署将成为新的潮流

从产业激活来看：重新激活AI整个生态链，AI芯片算力，新算法架构(多模态)，数据（采集，清洗…），AI原生应用

四、大模型发展最确定的趋势是什么？

据调查：88.9% 更多的应用场景 11.1% 更大的模型

五、大模型AI对算法工程师的威胁性

随着技术的迅猛发展，大模型人工智能（AI）在众多领域中已经展现了其优越的能力和潜力。然而，大模型AI也已经对算法工程师工作产生了相当的威胁性。

1. 大模型可以在短时间内处理大量数据，能够迅速处理大规模的数据并进行准确的分析和预测。这使得大模型在一些任务上能够胜过人类，例如机器翻译、文本生成、信息检索等。相比之下，传统的算法工程师需要投入大量时间和精力来设计和实现复杂的算法模型，其效率显然无法与大模型AI相提并论。

2. 大模型AI的自主学习能力使其能够从海量的数据中提取出有用的特征和模式，不再依赖人工进行特征工程。这也就意味着，算法工程师在特征设计和算法优化方面的专业知识和技能可能会逐渐被边缘化，并面临就业岗位的竞争压力。

六、算法工程师的破与立

破——大模型时代给算法工程师带来的新挑战

算法架构的改变，带来开发范式的转变，之前传统的从0开发小模型，整个流程都可以完整的走一遍。大模型不仅面临算力，数据的挑战，而且当前更多是对工程能力的要求，算法工程师需要向上掌握工程能力比如训练调优，推理部署，稳定性保障，向下研究软件栈，芯片的能力，而且需要深入了解行业背景和应用场景，及时保持跟进。

立——大模型时代给算法工程师带来的新机遇

大模型拓宽了算法职业机会：

AI绘画工程师、提示词工程师、AIGC算法工程师、大模型推理算法，大模型训练/微调算法工程师。

大模型拓宽了工程职业机会：

AI平台开发，AI应用开发，大模型推理架构，大模型训练平台，大模型MaaS平台等大量AI infra。

六、企业需要什么样的人？

我从各个招聘网站上去总结了一下，当前大模型需要掌握的核心技能

工程知识

熟悉 MLOps、ModelOps、LLMOps（基础模型操作）方法,模型生产流水线，

涵盖机器学习系统的各个子方向，包括资源调度、模型训练、模型推理、数据管理、工作流编排等。

搭建基于云原生的分布式机器学习平台、包含训练，推理，模型管理，数据集管理，标注系统等

基于云原生的基础架构，并具有在生产环境中部署大规模机器学习模型,具备（Docker、K8s、Harbor）经验

高性能计算、ML 硬件架构（GPU、显存、RDMA、IB、加速器、网络）、分布式存储。

掌握 LLM 框架和插件的实践经验，例如 LangChain、LlamaIndex、VectorStores 和 Retrievers、LLM Cache、LLMOps (MLFlow)、LMQL、Guidance 等。

企业 SaaS 软件经验，基于订阅，按量付费的支付方案，多租户资源隔离方案

算法技能

掌握 ML/DL 技术、算法和工具、Transformers（BERT、BART、GPT/T5、LLaMa、ChatGLM等）

深入了解 Transformer、因果 LM 及其底层架构，具有各种变压器架构的经验（自回归、序列到序列等）

模型训练

熟悉训练多模态基础模型。分布式并行训练，加速优化高级编程技能（Python）、DeepSpeed、Pytorch Lightning、kuberflow、TensorFlow等框架和工具。有大规模生产模型训练经验（Horovod、Ray、Parameter Server）

熟悉基于 GPU 的技术，如 CUDA、CuDNN 和 TensorRT

微调模型

全量微调，参数高效调整技术(PEFT)，人类反馈强化学习 (RLHF)

提示工程技术和方法，包括，CoT思维树等先进的提示工程技术

模型部署

分布式推理方案，模型Pipeline编写和优化模型的性能优化技术，例如模型压缩、量化和推理效率，模型压缩、蒸馏、剪枝、稀疏化、量化TensoRT, Openvino等编译优化加速

-END-

---

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓