mybbsss-CSDN博客

原创使用Lmdeploy将Qwen2-7B量化和加速推理

原因是lmdeploy版本比较低，需要升级到0.4以上的版本。下载Qwen2-7B-Instruct-GPTQ-Int4。稍快一点，仍然慢于Qwen2-7B-Instruct。原因是需要增加chat方法，代码如下。使用lmdeploy测试性能。4bit之后速度提升了6倍。（设备为50%A100）Lmdeploy测试代码。量化后速度反而慢了很多。Qwen2效率评估参考。

2024-06-17 16:32:51 962

原创使用opencompass在Humaneval+上对比Qwen2-7B和AlchemistCoder-DS-6.7B

分别下载到本地（使用hf-mirror）是InternLM的代码生成模型。对比一下类似参数，近期评价很好的。两个模型的得分都低于主页上的分数。batch size参数设置。一开始是0，部分预测内容如下。

2024-06-12 18:35:18 332

原创 [书生浦语] 大模型实战：大模型微调数据构造

场景需求基于 InternLM2-chat-1.8B 模型，用弱智吧中的数据进行微调，训练一个不弱智的模型本节内容可参照XTuner 微调个人小助手认知，这里简单介绍下流程：首先进入之前创建的开发机并激活之前创建的虚拟环境建立文件夹ruozhiba复制internlm2-chat-1.8B模型然后将处理过的训练集train.jsonl和测试集test.jsonl上传到该路径下。

2024-06-03 16:07:34 875

原创 [书生浦语] 大模型实战：OpenCompass 大模型评测实战

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

2024-06-02 21:01:40 686

原创 [书生浦语] 大模型实战：Lagent & AgentLego 智能体应用搭建

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将基于 Lagent 自定义一个工具。

2024-05-31 17:35:37 961

原创 [书生浦语] 大模型实战：LMDeploy 量化部署 LLM 实践

一只老虎躺在草地上。照片中没有可见的文字或其他物体，照片的风格是自然的野生动物拍摄，旨在捕捉环境中的动物。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

2024-05-31 15:22:30 1097

原创 [书生浦语] 大模型实战：XTuner 微调 LLM : 多模态、Agent

fill:#333;color:#333;color:#333;fill:none;输入文本文本Embedding模型文本向量L L M输出文本Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的，统称为LLaVA模型。在本节中，我们将自己构造。

2024-05-30 21:34:06 762

原创 [书生浦语] 大模型实战：XTuner 微调 LLM : 1.8B

在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！

2024-05-30 20:28:02 884

原创 [书生浦语] 大模型实战：搭建你的RAG智能助理

可以一边pip安装一边修改配置文件服务器关机后不必释放后续继续用编辑文件内容命令行可能会出错，建议使用vim或者vscodevscode也省去端口映射的麻烦RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

2024-05-28 19:31:01 910

原创 [书生浦语] 大模型实战：部署 InternLM2-Chat-1.8B

通过 Intern Studio的部署实习，配合实战营 Tutorial 同步完成学习任务。课程地址：https://github.com/InternLM/Tutorial经验总结报名课程可以获得邀请码创建开发机后可能需要排队几分钟执行第一个命令（搭建环境）需要一个小时，因此不要选择过短自动释放万一不小心关掉了连上的服务器标签页，没关系，刷新后不会丢失当前任务。

2024-05-24 17:48:12 463

原创 [书生·浦语] 大模型全链路开源体系

大模型已成为发展通用人工智能的重要途径。从本世纪初至2021-2022年，研究主要集中在专用模型上，针对特定任务采用特定模型。然而，近两年趋势转向发展通用大模型，即一个模型应对多种任务和模态。

2024-05-24 14:18:41 333

mycomin的博客