大模型实战营笔记：第一课：书生·浦语大模型全链路开源体系

(1)书生·浦语大模型全链路开源体系

什么是大模型

大模型是指具有大规模参数和复杂计算结构的机器学习模型，设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。其中最为知名的产品当属ChatGPT。ChatGPT是OpenAI 基于gpt系列模型经过庞大语料库训练产生的生成式语言模型，在知识问答，推理等方面有惊人的表现。从研究领域看，2020至今，以"Language Model", "Large Language Model"为关键词的文章指数级增加，其中GPT系列，和开源模型LLaMA模型是研究热点。

大模型被认为是实现通用人工智能（Artificial general intelligence）的重要途经。很长时间研究对象都是基于特定任务开发专用模型，这样对特定问题会产生很好的解决方案，比如蛋白质结构预测，语音识别等等，但是也同样由于专用性，模型很难迁移到其他任务。因此近两年研究者更倾向于设计能应对多种任务多种模态的通用大模型，这类模型的一大特点是能针对某一领域，解决该领域多种不同的问题。例如文本大模型，能够处理以文本信息为输入的情感分类，命名实体识别、信息抽取等多个问题。

上海人工智能实验室在大模型领域有着相当深的技术积累，开发了包括InternLM 书生·万卷等一系列模型及工具。

其中InternLM-7B以及InterLM-20B已开源。InternLM-7B可使用消费级显卡低成本部署，InterLM-20B在模型能力和推理代价间取得了平衡。即便如此，20B大模型依旧能在综合考试、知识问答、阅读理解、推理、编程等任务达到先进水平，全面领先相近量级的开源模型，以不足三分之一的参数量，达到Llama2-70B水平

但是需要注意的是，模型从开发到部署依旧存在很大的鸿沟。第一个问题是如何将模型学到的知识通过微调等手段培养成智能客服、个人助手等应用角色

一个可行的方案如下流程图：

因此，书生·浦语打造了从数据到预训练再到下游微调再到模型的部署、评测和应用的全链条开源开放体系，并在各个环节打造了相应的工具

数据方面–书生万卷多模态语料以及多样的庞大的开放语料：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

预训练方面，预训练框架在加速效率、性能优化方面是业内领先水平.同时对huggingface的无缝衔接为利用丰富的开源模型提供了良好的支持。开箱即用大幅度降低了对使用者的要求：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

微调：两种方式增量续训，和有监督微调，有监督微调需要高质量的对话问答数据，数据量要求较增量续训少。有监督微调又可分为全量参数微调和部分参数微调。全量参数微调是对所有参数调整，时间和算力要求高，但效果通常也会更好。部分参数微调是冻结部分参数，对未冻结的参数微调，相对全量参数微调时间和算力要求低一些，效果也会差一些。

上海人工智能实验室目前也有高效微调框架：XTuner,适配多种生态，和多种硬件

甚至8GB消费级显卡即可微调7B模型：

评测—目前国内外评测整体态势：

开源评测体系OpenCompass

评测架构：

模型的部署—目前的难点：

书生·浦语开发的部署工具LMDeploy

LMDeploy在业内优势：

目前大语言模型在最新信息和知识的获取回复的可靠性、数学计算、工具使用和交互等领域存在局限，需要将LLM转化为智能体。

书生·浦语智能体工具箱-AgentLego