![](https://i-blog.csdnimg.cn/direct/0658fab377cb4e4080fd7c20a9e5f905.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
书生大模型实战
文章平均质量分 85
书生大模型实战的过程
追风赶月。
目标是深度学习大师。
展开
-
【书生大模型实战】L2-MindSearch CPU-only 版部署
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。原创 2024-08-22 16:16:14 · 408 阅读 · 0 评论 -
【实战营彩蛋】MindSearch 快速部署(InternStudio 版)
选择 InternStudio 算力平台 50% A100 的 cuda 12.2 的开发机,并使用ssh vscode 远程连接到开发机。MindSearch是基于LLM Web搜索引擎的多智能体框架(如 Perplexity.ai Pro和SearchGPT)比如,对于多步骤的复杂问题,模型能够分析用户需求,先搜索嫦娥 6 号的技术难点、再针对每一个技术难点搜索对应的解决方案,再从任务目标、技术手段、科学成果、国际合作 4 个方面对比阿波罗 11 号登月计划,最后总结我国探月成功的贡献。原创 2024-08-20 10:43:35 · 816 阅读 · 0 评论 -
【书生大模型实战】InternVL 微调实践闯关任务
InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。对于视觉模块来说,它的特殊之处在Dynamic High Resolution。原创 2024-08-19 13:46:46 · 719 阅读 · 0 评论 -
【书生大模型实战】L2-LMDeploy 量化部署实践闯关任务
注释:实验室提供的环境为虚拟化的显存,nvidia-smi是NVIDIA GPU驱动程序的一部分,用于显示NVIDIA GPU的当前状态,故当前环境只能看80GB单卡 A100 显存使用情况,无法观测虚拟化后30%或50%A100等的显存情况。模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、kv cache占用的显存,以及中间运算结果占用的显存。让我们回到LMDeploy,在最新的版本中,LMDeploy使用的是AWQ算法,能够实现模型的4bit权重量化。输入以下指令,执行量化工作。原创 2024-08-15 00:00:24 · 743 阅读 · 0 评论 -
【书生大模型实战】L2-Lagent 自定义你的 Agent 智能体
Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中,我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承BaseAction类实现简单工具的run方法;原创 2024-08-13 21:00:23 · 856 阅读 · 0 评论 -
【书生大模型实战】L1-OpenCompass 评测 InternLM-1.8B 实践
OpenCompass2.0,又称“司南”,是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。原创 2024-08-04 14:15:07 · 924 阅读 · 0 评论 -
【书生大模型实战】L1-XTuner 微调个人小助手认知任务
当我们在测试完模型认为其满足我们的需求后,就可以对模型进行量化部署等操作了,这部分的内容在之后关于 LMDeploy 的课程中将会详细的进行讲解,敬请期待后续的课程吧!对于全量微调的模型(full)其实是不需要进行整合这一步的,因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ,因此是不需要进行模型整合的。比如我们这里微调的是书生·浦语的模型,我们就可以匹配搜索。,在使用前我们需要准备好三个路径,包括原模型的路径、训练好的 Adapter 层的(模型格式转换后的)路径以及最终保存的路径。原创 2024-08-02 09:54:53 · 545 阅读 · 0 评论 -
【书生大模型实战】L1-Llamaindex RAG实践
什么是RAGLLM会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。正是在这样的背景下,检索增强生成技术(Retrieval-Augmented Generation,RAG)应时而生,成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前,先从广泛的文档数据库中检索相关信息,然后利用这些信息来引导生成过程,极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题,提高了知识更新的速度,并增强了内容生成的可追溯性。原创 2024-08-01 22:34:03 · 797 阅读 · 0 评论 -
【书生大模型实战】L1-LangGPT结构化提示词编写实践
近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为13.8原创 2024-07-30 20:21:05 · 274 阅读 · 0 评论 -
【书生大模型实战】L1-8G 显存玩转书生大模型 Demo
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署,但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。LMDeploy 也已经支持了 InternVL2 系列模型的部署,让我们一起来使用 LMDeploy 部署 InternVL2-2B 模型。接下来,我们使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。首先,创建一个目录,用于存放代码。原创 2024-07-30 12:37:19 · 806 阅读 · 0 评论 -
【书生大模型实战】L1-书生大模型全链路开源体系
大模型已经成为发展AGI的重要途径,传统的专用模型是针对特定任务,一个模型解决一个问题,比如ImageNet竞赛中涌现的分类模型,AlphaFold等等。而通用模型旨在利用一个模型完成All任务,对应多种模态。比如GPT4通过Prompt实现。原创 2024-07-30 00:30:23 · 322 阅读 · 0 评论 -
【大模型学习】利用最新版Langchain-Chatchat搭建个人知识库问答LLM
如果存在此选项,则使用它。修改配置文件,需要根据步骤2. 模型推理框架并加载模型中选用的模型推理框架与加载的模型进行模型接入配置,具体参考model_settings.yaml中的注释。默认知识库位于CHATCHAT_ROOT/data/knowledge_base,如果你想把知识库放在不同的位置,或者想连接现有的知识库,可以在这里修改对应目录即可。-i, --incremental:本地文件夹中存在文件的增量更新矢量存储,数据库中不存在。--trim-db:删除本地数据库中不存在的文档文件夹中的文档。原创 2024-07-19 15:59:28 · 1036 阅读 · 0 评论 -
【书生大模型实战】L0-Git 基础知识
每位参与者提交一份自我介原创 2024-07-16 10:13:50 · 281 阅读 · 0 评论 -
【书生大模型实战】L0-Python
【书生大模型实战】L0-Python。原创 2024-07-16 09:24:19 · 243 阅读 · 0 评论 -
【书生大模型实战】L0-Linux
【书生大模型实战】L0-Linux原创 2024-07-15 18:11:00 · 664 阅读 · 0 评论