大语言模型发展及行业应用实践_大语言模型行业应用-CSDN博客

本文链接：https://blog.csdn.net/m0_59235945/article/details/143606536

前几天受邀做了个AI讲座，乘此机会梳理了今年LLM的一些发展，特别是垂类模型的一些技术趋势和我们的实践，供大家参考。

年初在《企业大模型应用策略》一文中分析了大模型的能力特征，并阐述了由于其思维能力的不足，RAG（检索增强）+微调垂类模型成了大模型行业应用范式。

9月，OpenAI发布专用于推理的模型o1，像人一样在回答一个问题前花更多的时间思考，通过强化学习，改进思维链运用策略并修正错误。多项数学、科研等任务上相对GPT 4o大大提升[1]。

上海交大一个团队试图复现o1，如下图，其实现过程是一个多分支循环结构，各种技术综合应用，反复优化提升，相当耗时。

需要指出的是在OpenAI的定义中，o1和GPT系列不同，是全新模型。本质上，擅长于知识汇聚、语言能力的LLM在思维能力上难以突破，用专门模型来应对是合理选择。

去年底我们的明眸语言模型（MILM）中标某行业大模型及典型示范应用项目，在实际应用中，我们在模型微调基础上综合应用了各种知识存储方法、检索方法和专用算法模块，达到较好的效果。

在此项目中，我们结合数字人及虚拟渲染技术，实现了交互式LLM应用场景。语音交互+数字人+LLM能覆盖很多需求。此类应用中，交互延时非常重要，人类交互时延约为232ms，语言识别+LLM处理+语音生成需接近这一指标。随着GPT4，GPT4o（“o” for “omni”）的发布，LLM快速进入MLLM（多模态大语言模型）时代，而行业模型也需具备多模态处理能力。端到端构建模型和训练成为行业MLLM的一种新的趋势，这样可以有效降低全流程多模态交互时延，满足应用需求，典型如下图[3]。

有人提出MLLM的摩尔定律，如下图，随着技术的发展，达到同等能力的模型规模越来越小，而随着终端算力的提升，端侧大模型部署将成为现实[4]。这显然非常有利于行业模型的推广应用。

在垂类大模型训练上，也有一些新的技术趋势。对ChatGPT成功至关重要的基于人类反馈强化学习（RLHF）有了替代方案。人们提出直接用人类反馈的偏好数据优化模型的方法，这样省去了生成奖励模型（Reward Model）和强化学习的过程，降低了训练资源消耗[5]，这在行业模型中显然非常重要。

一段时间内很多模型的训练数据依赖于ChatGPT等优秀商用模型，或者借助于商用模型进行数据清洗和优化，显然这不符合很多商用模型的使用条款，也受到模型API调用能力的限制。基于开源模型的学习[6]可以成为一种替代方案。

在行业模型微调中，LoRA[7]一直占据重要地位，特别适合在资源受限的环境下快速开发和部署针对特定垂直领域的大语言模型应用。使用LoRA，通常只需全量微调参数量的 0.1%-1%即可适应新任务，同时灵活性强，可以针对不同领域训练不同的LoRA，并快速切换，因此LoRA已经成为大模型领域任务微调的主流方法。针对多种场景任务或数据微调的LoRA一起使用，即Multi-LoRA[8]，对于同时适配更多场景，降低部署成本，提高推理性能非常重要，如下图，一个显卡中运行一个基础LLM和多个LoRA。

索贝MILM模型34B版本，通过Multi-LoRA优化后，在一块48G显存的A6000上可并行运行4个模型，提升两倍多的吞吐量。

vLLM是当前最具影响力的LLM推理开源项目，在Github获得了高达25.5k的订阅关注。通过vLLM部署的大语言模型可以轻易获得数十倍于huggingface transformers （HF）的吞吐量提升，即便是对比huggingface推出的生成推理引擎TGI，同样可以获得2-2.5倍的提升。

索贝媒体智能实验室（MIL）的李杰同学基于Triton重构了vLLM的Multi-LoRA算子，彻底解决vLLM社区的Multi-LoRA问题, 成为0.5.4发版的一个highlight，同时，Multi-LoRA也正式成为vLLM的一个产品特性。

总而言之，大语言模型技术仍然快速演进，为各种场景适配的行业模型发展打下坚实基础，可以预计各种应用将快速集成MLLM，语言模型将无处不在，成为各种行业应用不可或缺的一部分。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述