浦语大模型笔记
文章平均质量分 78
JeffDingAI
OpenI首批资深体验官,Datawhale成员,MindSpore资深开发者,Ascend优秀开发者,主要探索学习国产算力、Mindspore、Ascend、AI For Science、AIGC
展开
-
【InternLM 实战营第二期笔记】OpenCompass :是骡子是马,拉出来溜溜
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现:提供公平、公开、可复现的大模型评测方案全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力丰富的模型支持:已支持 20+ HuggingFace 及 API 模型分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。原创 2024-04-23 08:41:26 · 541 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】Lagent & AgentLego 智能体应用搭建
创建工具文件import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。Args:"""else:Args:Returns:"""data = [f'数据观测时间: {now["obsTime"]}',f'温度: {now["temp"]}°C',f'体感温度: {now["feelsLike"]}°C',f'天气: {now["text"]}',f'风向: {now["windDir"]},角度为 {now["wind360"]}°',原创 2024-04-23 08:40:48 · 583 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】XTuner 微调个人小助手认知
Haotian Liu等使用GPT-4V对图像数据生成描述,以此构建出大量的数据对。利用这些数据对,配合文本单模态LLM,训练出一个Image Projector。所使用的文本单模型LLM和训练出来的,统称为LLaVA模型。原创 2024-04-17 08:05:21 · 1064 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】LMDeploy 量化部署 LLM&VLM实战
是一个高速发展的社区,包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区,如果你有数据集或者模型想对外分享,网盘又不太方便,就不妨托管在HuggingFace。托管在HuggingFace社区的模型通常采用HuggingFace格式存储,简写为HF格式。但是HuggingFace社区的服务器在国外,国内访问不太方便。国内可以使用阿里巴巴的MindScope。原创 2024-04-17 08:04:26 · 605 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】使用茴香豆搭建你的RAG智能助理
茴香豆是一个基于 LLM 的群聊设计拒答、响应两阶段 pipeline 应对群聊场景,解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存,无需训练适用各行业提供一整套前后端 web、android、算法源码,工业级开源可商用。原创 2024-04-07 06:51:49 · 932 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】InternLM1.8B浦语大模型趣味 Demo
自由指令输入的图文写作能力: 浦语·灵笔2 可以理解自由形式的图文指令输入,包括大纲、文章细节要求、参考图片等,为用户打造图文并貌的专属文章。生成的文章文采斐然,图文相得益彰,提供沉浸式的阅读体验。准确的图文问题解答能力:浦语·灵笔2 具有海量图文知识,可以准确的回复各种图文问答难题,在识别、感知、细节描述、视觉推理等能力上表现惊人。原创 2024-04-01 05:44:24 · 1074 阅读 · 0 评论 -
【InternLM 实战营第二期笔记】书生·浦语大模型全链路开源体系及InternLM2技术报告笔记
自从ChatGPT和GPT-4的出现以来 (OpenAI, 2023),大型语言模型(LLMs)在学术界和工业界迅速走红。训练在数十亿令牌上的模型展现了深刻的情感理解和问题解决能力,引发了人们普遍认为AGI时代即将到来的猜测。尽管如此,开发出与ChatGPT或GPT-4相当能力的模型的道路仍然模糊不清。开源社区正在努力缩小专有LLM与开源模型之间的差距。在过去的一年里,如LLaMA (Touvron et al., 2023a;原创 2024-03-28 15:30:27 · 950 阅读 · 0 评论 -
【InternLM 笔记】OpenXLAB浦源的基本操作
然后app.py的话就是我们的主代码文件了,如果不是app.py的话,或者说是stramlit应用的话,可以写一个start.py。另外硬件资源的话默认可能只有2vCPU 8GB,根据使用经验可能只能运行一些简单的应用,所以有好的应用创意需要跑的话,点【申请硬件资源】可以尝试申请更好的资源。感觉页面中的提示信息填写相应的内容,全部填完后点页面下方的【立即创建】完成模型的创建。点击右上角的头像然后选择密钥管理,里面选择【Git访问令牌】下面就有你的访问令牌了。创建应用也是点【创建】然后选择【创建应用】原创 2024-03-18 10:56:08 · 825 阅读 · 0 评论 -
【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库
同时,我们需要使用到开源词向量模型 Sentence Transformer:(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,同学们可以自由尝试别的开源词向量模型)可以在 /root/data 下新建一个 demo目录,将该脚本和后续脚本均放在该目录下运行。运行上述脚本,即可在本地构建已持久化的向量数据库,后续直接导入该数据库即可,无需重复构建。将上述代码封装为 LLM.py,后续将直接从该文件中引入自定义的 LLM 类。原创 2024-03-15 18:52:09 · 528 阅读 · 0 评论 -
【InternLM 笔记】使用InternLM2-chat-1.8b制作时事问答知识库
通过将上述代码封装为 run_gradio.py 脚本,直接通过 python 命令运行,即可在本地启动知识库助手的 Web Demo,默认会在 7860 端口运行,接下来将服务器端口映射到本地端口即可访问。将得到的 PTH 模型转换为 HuggingFace 模型,即:生成 Adapter 文件夹。数据集csv转json脚本(csv2jsonl.py)模型版本: InternLM2-chat-1.8b。将得到的jsonl文件拷贝到工作目录下准备微调。LangChain 依赖包。下载 NLTK 相关资源。原创 2024-03-15 18:51:16 · 478 阅读 · 0 评论 -
【InternLM 实战营笔记】LMDeploy量化internlm2-chat-20b模型
使用控制台和模型对话。原创 2024-03-04 13:25:17 · 500 阅读 · 0 评论 -
【InternLM 实战营笔记】使用SDK接口上传模型到OpenXLab
浦源内容平台-模型中心的Python SDK旨在为开发人员提供编程方式来管理和操作模型中心平台的功能,以便他们可以轻松地与模型中心进行交互和模型管理。通过Python SDK提供的推理接口,开发人员能够高效地调用不同的模型,实现模型应用的开发。模型库的管理:创建模型库、上传更新、删除、查询模型列表和列出模型的信息元数据管理:SDK应该提供一组API,用于管理模型的元数据,包括模型名称、评测结果、标签、作者等信息。原创 2024-03-03 21:28:57 · 503 阅读 · 0 评论 -
【InternLM 实战营笔记】使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能
拉取环境激活环境下载模型安装转换internLM2-Chat-7B为将模型转为 lmdeploy TurboMind 的格式启动 TurboMind推理+API服务。原创 2024-03-01 21:35:45 · 522 阅读 · 0 评论 -
【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库
同时,我们需要使用到开源词向量模型 Sentence Transformer:(我们也可以选用别的开源词向量模型来进行 Embedding,目前选用这个模型是相对轻量、支持中文且效果较好的,同学们可以自由尝试别的开源词向量模型)可以在 /root/data 下新建一个 demo目录,将该脚本和后续脚本均放在该目录下运行。运行上述脚本,即可在本地构建已持久化的向量数据库,后续直接导入该数据库即可,无需重复构建。将上述代码封装为 LLM.py,后续将直接从该文件中引入自定义的 LLM 类。原创 2024-02-29 18:01:12 · 458 阅读 · 0 评论 -
【InternLM 实战营笔记】浦语·灵笔的图文理解及创作部署、 Lagent 工具调用 Demo
浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型,提供出色的图文理解和创作能力,结合了视觉和语言的先进技术,能够实现图像到文本、文本到图像的双向转换。使用浦语·灵笔大模型可以轻松的创作一篇图文推文,也能够轻松识别一张图片中的物体,并生成对应的文本描述。由于代码修改的地方比较多,大家直接将 /root/code/lagent/examples/react_web_demo.py 内容替换为以下代码。原创 2024-02-29 10:47:16 · 473 阅读 · 0 评论 -
【InternLM 实战营笔记】书生·浦语大模型全链路开源体系
大模型成为发展通用人工智能的重要途径专用模型:针对特定任务,一个模型解决一个问题通用大模型:一个模型应对多种任务、多种模态。原创 2024-02-28 09:36:01 · 398 阅读 · 0 评论 -
【InternLM 实战营笔记】XTuner 大模型单卡低成本微调实战
一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。原创 2024-02-28 14:08:49 · 578 阅读 · 0 评论 -
【InternLM 实战营笔记】OpenCompass大模型评测
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型:一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型(如OpenAI的GPT-3,Meta的LLaMA),往往具有强大的文字续写能力。对话模型:一般是在的基座模型的基础上,经过指令微调或人类偏好对齐获得的模型(如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语),能理解人类指令,具有较强的对话能力。原创 2024-02-28 20:09:52 · 1018 阅读 · 0 评论 -
【InternLM 实战营笔记】LMDeploy 的量化和部署
值得说明的是,以上的划分是一个相对完整的模型,但在实际中这并不是绝对的。比如可以把“模型推理”和“API Server”合并,有的甚至是三个流程打包在一起提供服务。新开一个终端执行下面的命令实时观察 GPU 资源的使用情况。v1/chat/completions 接口为例,简单试一下。接下来,我们看一下lmdeploy提供的部署功能。这一部分主要涉及本地推理和部署。我们把从架构上把整个服务流程分成下面几个模块。复制环境到我们自己的 conda 环境。TurboMind 服务作为后端。原创 2024-02-28 19:27:14 · 425 阅读 · 0 评论 -
【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建你的知识库
llm.predict("你是谁")构建检索问答链,还需要构建一个 Prompt Template,该 Template 其实基于一个带变量的字符串,在检索之后,LangChain 会将检索到的相关文档片段填入到 Template 的变量中,从而实现带知识的 Prompt 构建。我们可以基于 LangChain 的 Template 基类来实例化这样一个 Template 对象:# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。原创 2024-02-28 12:18:29 · 898 阅读 · 0 评论 -
【InternLM 实战营笔记】浦语大模型趣味 Demo
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练,并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能,比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构,如 Transformer、BERT、GPT( Generative Pre-trained Transformer )等。原创 2024-02-28 11:22:52 · 952 阅读 · 0 评论