学习笔记
文章平均质量分 91
jessIoss
每天进步一点点
展开
-
【书生大模型实战营】进阶岛 第6关 MindSearch 快速部署
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。打开codespace主页,选择blank template,浏览器会自动在新的页面打开一个web版的vscode。在最后,将 /root/mindsearch/mindsearch_deploy 目录下的文件(使用 git)提交到 HuggingFace Space 即可完成部署了。原创 2024-09-02 17:09:12 · 954 阅读 · 0 评论 -
【书生大模型实战营】进阶岛 第5关 茴香豆:企业级知识库问答工具
茴香豆 是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到,RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性,同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求,对 RAG 系统的开发、部署和调优的挑战更大,如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此,根据大量国内用户的实际需求,总结出了三阶段Pipeline的茴香豆知识问答助手架构,帮助企业级用户可以快速上手安装部署。原创 2024-09-02 15:28:43 · 893 阅读 · 0 评论 -
【书生大模型实战营】进阶岛 第4关 InternVL 多模态模型部署微调实践
InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。原创 2024-09-02 09:21:03 · 563 阅读 · 0 评论 -
【书生大模型实战营】进阶岛 第3关 LMDeploy 量化部署进阶实践
注释:实验室提供的环境为虚拟化的显存,nvidia-smi是NVIDIA GPU驱动程序的一部分,用于显示NVIDIA GPU的当前状态,故当前环境只能看80GB单卡 A100 显存使用情况,无法观测虚拟化后30%或50%A100等的显存情况。原因是:相比使用BF16精度的kv cache,int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值,而BF16需要16位。让我们回到LMDeploy,在最新的版本中,LMDeploy使用的是AWQ算法,能够实现模型的4bit权重量化。原创 2024-09-01 14:39:42 · 1094 阅读 · 0 评论 -
【书生大模型实战营】进阶岛 第2关 Lagent 自定义你的 Agent 智能体
使用 Lagent 自定义一个智能体,并使用 Lagent Web Demo 成功部署与调用Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式,也支持了如下工具:Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPT。原创 2024-09-01 11:18:30 · 721 阅读 · 0 评论 -
【书生大模型实战营】进阶岛 第1关 探索 InternLM 模型能力边界
在 CompassArena 中选择双模型对话,与InternLM2.5及另外任意其他模型对话,收集 5 个 InternLM2.5 输出结果不如其他模型的对话案例,以及 InternLM2.5 的 5 个 Good Case。原创 2024-08-31 16:23:20 · 1207 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第6关 XTuner 微调个人小助手认知
针对如模型安全和模型语言能力的评测,以人的主观感受为主的评测更能体现模型的真实能力,并更符合大模型的实际使用场景。同时,由于大语言模型输出自由度较高,在评测阶段,我们需要对其输入和输出作一定的规范和设计,尽可能减少噪声输出在评测阶段的影响,才能对模型的能力有更加完整和客观的评价。为准确、全面、系统化地评估大语言模型的能力,OpenCompass 从通用人工智能的角度出发,结合学术界的前沿进展和工业界的最佳实践,提出一套面向实际应用的模型能力评价体系。您需要配置整个评估过程,选择要评估的模型和数据集。原创 2024-08-17 11:09:31 · 612 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第5关 XTuner 微调个人小助手认知
在我们的输入的这个命令中,我们的 CONFIG 对应的是上面搜索到的 internlm2_chat_1_8b_qlora_alpaca_e3 ,而 SAVE_PATH 则是当前目录 .。该命令需要三个参数:CONFIG 表示微调的配置文件, PATH_TO_PTH_MODEL 表示微调的模型权重文件路径,即要转换的模型权重, SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。比如我们这里微调的是书生·浦语的模型,我们就可以匹配搜索 internlm2。原创 2024-08-14 21:27:22 · 725 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第4关 InternLM + LlamaIndex RAG 实践
给模型注入新知识的方式,可以简单分为两种方式,一种是内部的,即更新模型的权重,另一个就是外部的方式,给模型注入格外的上下文或者说外部信息,不改变它的的权重。第一种方式,改变了模型的权重即进行模型训练,这是一件代价比较大的事情,大语言模型具体的训练过程,可以参考InternLM2技术报告。对比两种注入知识方式,第二种更容易实现。st.session_state.messages = [{“role”: “assistant”, “content”: “你好,我是你的助手,有什么我可以帮助你的吗?原创 2024-08-14 09:47:37 · 973 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第3关 浦语提示词工程实践
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题,用于描述任务和要求。Prompt可以包含一些特定的关键词或短语,用于引导模型生成符合特定主题或风格的内容。例如,如果我们要生成一篇关于“人工智能”的文章,我们可以使用“人工智能”作为Prompt,让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求,用于控制生成文本的语气、风格、长度等方面。原创 2024-08-13 16:42:22 · 979 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第2关 8G 显存玩转书生大模型 Demo
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署,但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。准确的视觉语言问题解决:InternLM-XComposer2 基于自由形式的指令准确地处理多样化和具有挑战性的视觉语言问答任务,在识别,感知,详细标签,视觉推理等方面表现出色。接下来,我们使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。原创 2024-08-12 22:37:47 · 818 阅读 · 0 评论 -
【书生大模型实战营】基础岛 第1关 书生大模型全链路开源体系
课程介绍了书生葡语的最新进展,包括7B和20B模型的开源及其性能提升。开源工具涵盖数据处理、模型微调、评测和部署,助力用户在科研和应用领域的创新。课程还强调了社区的协作与反馈机制,推动了模型的不断优化与迭代。短期记忆和上下文的处理能力在GPT4O模型中达到了100万的级别,展现出其强大的推理和复杂任务处理能力。通过不断的反馈和数据优化,模型性能得以提升,推动了开源体系的进步。书生浦语大模型的开源体系经过一年努力,已实现从数据收集到模型部署的全链路打通。学习视频内容,并做笔记。原创 2024-08-12 15:01:35 · 205 阅读 · 0 评论 -
【书生大模型实战营】入门岛 第2关 Python 基础知识
python的包管理pip与conda的源服务器均在境外,安装包的时候常常会碰到下载慢的情况。这时我们可以把pip与conda的源替换为国内的镜像,下面我们将刚刚安装好的环境替换为清华源。可以自己编写一个简单的python脚本,并尝试使用debug来更好的理解代码的运行逻辑。很多时候我们要debug的不止是一个简单的python文件,而是很多参数,参数中不止会有简单的值还可能有错综复杂的文件关系,甚至debug一整个项目。2: step over:跳过,可以理解为运行当前行代码,不进入具体的函数或者方法。原创 2024-08-11 23:11:39 · 705 阅读 · 0 评论 -
【书生大模型实战营】入门岛 第1关 Linux基础知识
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持,为开发者提供开箱即用的大语言模型微调环境、工具、数据集,并完美兼容 🤗 HugginFace 开源生态。原创 2024-08-11 22:36:21 · 830 阅读 · 0 评论