大模型时代需要什么样的人才？万金油岗位是哪些？

最新推荐文章于 2024-09-28 09:23:20 发布

鸡腿爱学习

最新推荐文章于 2024-09-28 09:23:20 发布

阅读量1k

点赞数 36

文章标签：人工智能智能手机语言模型知识图谱 agi

本文链接：https://blog.csdn.net/2401_84206094/article/details/140628432

版权

近些年迅速发展的大规模预训练模型技术，正在让机器逐渐具备像人一样的认知智能，但是也对算法、系统、算力提出新的需求和挑战。那么，未来 AI 的架构将会是怎样的？

大概从去年，进入了另外一个新的时代——大模型时代。在大模型时代，算法人员无法从头训练一个模型，而是需要依赖于基础模型，并且以基础模型去适配下游应用场景。

一、大模型认知范式演变

为什么说算法人员训不了，就是咱们之前说的几个大：大数据，大算力，大模型

第一、它依赖于大的数据，也就是海量文本数据；

第二、模型比较大，从几十亿、几百亿，甚至几千亿、几万亿的参数规模；

第三、大算力，动不动上百张卡，上千，上万张卡，大规模的算力集群。

而现在只是开始…

二、大模型算法优势

相比传统 AI 模型，大模型的优势体现在：

1）解决 AI 过于碎片化和多样化的问题，极大提高模型的泛用性。应对不同场景时，AI 模型往往需要进行针对化的开发、调参、优化、迭代，需要耗费大量的人力成本，导致了 AI 手工作坊化。大模型采用“预训练+下游任务微调”的方式，首先从大量标记或者未标记的数据中捕获信息，将信息存储到大量的参数中，再进行微调，极大提高模型的泛用性。

2）具备自监督学习功能，降低训练研发成本。我们可以将自监督学习功能表观理解为降低对数据标注的依赖，大量无标记数据能够被直接应用。这样一来，一方面降低人工成本，另一方面，使得小样本训练成为可能。

3）摆脱结构变革桎梏，打开模型精度上限。过去想要提升模型精度，主要依赖网络在结构上的变革。随着神经网络结构设计技术逐渐成熟并开始趋同，想要通过优化神经网络结构从而打破精度局限变得困难。而研究证明，更大的数据规模确实提高了模型的精度上限。

三、大模型产研变革

从算法层面来看：从碎片化和多样化算法统一到以Transformer为核心的生成式架构：算法统一

从开发流程来看：从烟囱式的独立开发，到大一统的基础模型训练或优化：开发统一

从交互层面来看：从各个各样的独立接口结构化调用到以自然语言交互为核心的交互演变：交互统一

从商业模式来看：B2B2C、 MaaS服务、垂直领域应用将是大模型时代AI发展的重要趋势

从付费模式来看：订阅付费、按需付费、公有云交付、私有化部署将成为新的潮流

从产业激活来看：重新激活AI整个生态链，AI芯片算力，新算法架构(多模态)，数据（采集，清洗…），AI原生应用

四、大模型发展最确定的趋势是什么？

据调查：88.9% 更多的应用场景 11.1% 更大的模型

五、大模型AI对算法工程师的威胁性

随着技术的迅猛发展，大模型人工智能（AI）在众多领域中已经展现了其优越的能力和潜力。然而，大模型AI也已经对算法工程师工作产生了相当的威胁性。

大模型可以在短时间内处理大量数据，能够迅速处理大规模的数据并进行准确的分析和预测。这使得大模型在一些任务上能够胜过人类，例如机器翻译、文本生成、信息检索等。相比之下，传统的算法工程师需要投入大量时间和精力来设计和实现复杂的算法模型，其效率显然无法与大模型AI相提并论。
大模型AI的自主学习能力使其能够从海量的数据中提取出有用的特征和模式，不再依赖人工进行特征工程。这也就意味着，算法工程师在特征设计和算法优化方面的专业知识和技能可能会逐渐被边缘化，并面临就业岗位的竞争压力。

六、算法工程师的破与立

破——大模型时代给算法工程师带来的新挑战

算法架构的改变，带来开发范式的转变，之前传统的从0开发小模型，整个流程都可以完整的走一遍。大模型不仅面临算力，数据的挑战，而且当前更多是对工程能力的要求，算法工程师需要向上掌握工程能力比如训练调优，推理部署，稳定性保障，向下研究软件栈，芯片的能力，而且需要深入了解行业背景和应用场景，及时保持跟进。

立——大模型时代给算法工程师带来的新机遇

大模型拓宽了算法职业机会：

AI绘画工程师、提示词工程师、AIGC算法工程师、大模型推理算法，大模型训练/微调算法工程师。

大模型拓宽了工程职业机会：

AI平台开发，AI应用开发，大模型推理架构，大模型训练平台，大模型MaaS平台等大量AI infra。

七、企业需要什么样的人？

我从各个招聘网站上去总结了一下，当前大模型需要掌握的核心技能

工程知识

熟悉 MLOps、ModelOps、LLMOps（基础模型操作）方法,模型生产流水线，

涵盖机器学习系统的各个子方向，包括资源调度、模型训练、模型推理、数据管理、工作流编排等。

搭建基于云原生的分布式机器学习平台、包含训练，推理，模型管理，数据集管理，标注系统等

基于云原生的基础架构，并具有在生产环境中部署大规模机器学习模型,具备（Docker、K8s、Harbor）经验

高性能计算、ML 硬件架构（GPU、显存、RDMA、IB、加速器、网络）、分布式存储。

掌握 LLM 框架和插件的实践经验，例如 LangChain、LlamaIndex、VectorStores 和 Retrievers、LLM Cache、LLMOps (MLFlow)、LMQL、Guidance 等。

企业 SaaS 软件经验，基于订阅，按量付费的支付方案，多租户资源隔离方案

算法技能

掌握 ML/DL 技术、算法和工具、Transformers（BERT、BART、GPT/T5、LLaMa、ChatGLM等）

深入了解 Transformer、因果 LM 及其底层架构，具有各种变压器架构的经验（自回归、序列到序列等）

模型训练

熟悉训练多模态基础模型。分布式并行训练，加速优化高级编程技能（Python）、DeepSpeed、Pytorch Lightning、kuberflow、TensorFlow等框架和工具。有大规模生产模型训练经验（Horovod、Ray、Parameter Server）

熟悉基于 GPU 的技术，如 CUDA、CuDNN 和 TensorRT

微调模型

全量微调，参数高效调整技术(PEFT)，人类反馈强化学习 (RLHF)

提示工程技术和方法，包括，CoT思维树等先进的提示工程技术

模型部署

分布式推理方案，模型Pipeline编写和优化模型的性能优化技术，例如模型压缩、量化和推理效率，模型压缩、蒸馏、剪枝、稀疏化、量化TensoRT, Openvino等编译优化加速

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】