浦语大模型笔记

已于 2024-05-28 11:47:32 修改
阅读量645 收藏 15
点赞数 15
分类专栏： 笔记 文章标签： 笔记
于 2024-05-13 20:33:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52987303/article/details/138817494
版权

书生·浦语大模型全链路开源体系

浦语大模型全链路开源体系

大模型成为发展通用人工智能的重要途径

  • 专用模型：针对特定任务，一个模型解决一个问题
  • 通用大模型：一个模型应对多种任务、多种模态
    在这里插入图片描述在这里插入图片描述
  • 大模型发展时间线
    在这里插入图片描述
  • LLaMA 模型家族
    在这里插入图片描述
  • 书生·浦语大模型开源历程
    在这里插入图片描述

书生·浦语 2.0（InternLM2）核心理念

  • 面向不同的使用需求 ，每个规格包含三个模型版本

7B:为轻量级的研究和应用提供了一个轻便但性能不俗的模型
20B:模型的综合性能更为强劲，可有效支持更加复杂的实用场景

  • InternLM2-Base

高质量和具有很强可塑性的模型基座是模型进行深度领域适配的高质量起笈

  • InternLM2

在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座

  • InternLM2-Chat

在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遭循、共情聊天和调用工具等的能力

  • 回归语言建模的本质
  • 致力于通过更高质量的语料以及更高的信息密度，实现模型基座语言建模能力的质的提升
    在这里插入图片描述

书生·浦语 2.0（InternLM2）的主要亮点

在这里插入图片描述

主要亮点 1：超长上下文支持

模型在 20 万字长输入中几乎完美地实现长文“大海捞针”
在这里插入图片描述

主要亮点 2：性能全方位提升

在各能力维度全面进步，在推理、数学、代码等方面的能力提升尤为显著，综合性能达到同量级开源模型的领先水平，在重点能力评测上 InternLM2-Chat-20B 甚至可以达到比肩 ChatGPT （GPT-3.5）的水平
在这里插入图片描述

主要亮点 3：优秀的对话和创作体验

  • 贴心又可靠的 Al 助手
  • 充满人文关怀的对话
  • 富有想象力的创作

AlpacaEval2 英文主观对话榜单(斯坦福大学发布)IntemLM2-Chat-20B胜率(21.75%)超越了 GPT-3.5(14.13%),GeminiPro(16.85%)和Claude-2 (17.19%)
指令遵循能力评测集 IFEval(谷歌发布): InternLM2-Chat-208 的指令遵循率超越了 GPT-4(79.5%vs 79.3%)
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/dd2c160c38cc486fbf98eeba2c043bff.png x=x300)
在这里插入图片描述

主要亮点 4：工具调用能力升级

工具调用能够极大地拓展大语言模型的能力边界 ，使得大语言模型能够通过搜索、计算、代码解释器等获取最新的知识并处理更加复杂的问题。InternLM2进一步升级了模型的工具调用能力，能够更稳定地进行工具筛选和多步骤规划，完成复杂任务

主要亮点 5：数理能力突出

  • 强大的内生计算能力

在预训练阶段，模型吸收了丰富的数学相关的语料，在微调阶段模型全面学习了覆盖不同学段各类知识点的题目，使得模型内生的计算能力得到了大大增强
在这里插入图片描述

  • 代码解释器:更上一层楼

借助代码解释器，模型能够编写代码进行更复杂的计算，或者对推理的结果进行形式化验证，从而可以解决计算要求更高或者演算过程更加复杂的问题
在这里插入图片描述

  • 数据分析和可视化

基于在计算及工具调用方面强大的基础能力，InternLM2在语言模型中具备了数据分析和可视化实用能力，进一步贴近用户使用场景
在这里插入图片描述

从模型到应用典型流程

在这里插入图片描述

书生·浦语全链条开源开放体系

在这里插入图片描述

全链条开源开放体系｜数据

在这里插入图片描述

全链条开源开放体系｜开放高质量语料数据

在这里插入图片描述

全链条开源开放体系｜预训练

在这里插入图片描述

全链条开源开放体系｜微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

全链条开源开放体系｜评测

在这里插入图片描述

  • OpenCompass 2.0 司南大模型评测体系开源历程
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8bf1289ac62d4b4eb3977bfc3f5d209b.png #pic_center)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • CompassRank：中立全面的性能榜单
    在这里插入图片描述

  • CompassKit：大模型评测全栈工具链
    在这里插入图片描述

  • CompassHub：高质量评测基准社区
    在这里插入图片描述

  • OpenCompass 2.0 能力维度全面升级
    在这里插入图片描述

  • 夯实基础：自研高质量大模型评测基准
    在这里插入图片描述

  • 洞见未来：年度榜单与能力分析

  • 洞见未来：OpenCompass 年度榜单(主观评测-对战胜率)

  • 洞见未来：OpenCompass 年度榜单(综合性客观评测)

  • 群策群力：携手行业领先共建繁荣生态

全链条开源开放体系｜部署

在这里插入图片描述
在这里插入图片描述

全链条开源开放体系｜智能体

在这里插入图片描述

在这里插入图片描述

浦语大模型趣味 homework1

基础作业

部署 InternLM2-Chat-1.8B 模型进行智能对话
  1. 打开 Intern Studio 界面，点击 创建开发机 配置开发机系统，并创建Cuda11.7-conda镜像,然后点击进入开发机选项
    在这里插入图片描述
  2. 进入开发机后，在 terminal 中输入环境配置命令 (配置环境时间较长，需耐心等待
studio-conda -o internlm-base -t demo
# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y
# conda activate demo
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

在这里插入图片描述

  1. 然后进入创建conda环境,并安装相关环境包
# 1进入demo环境
conda activate demo  
# 安装相关环境包
pip install huggingface-hub==0.17.3
pip install transformers==4.34 
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2 
pip install matplotlib==3.8.3 
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99
  1. 下载 InternLM2-Chat-1.8B 模型
# 按路径创建文件夹，并进入到对应文件目录中
mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo

然后通过左侧文件夹栏目，双击进入 demo 文件夹
在这里插入图片描述
双击打开 /root/demo/download_mini.py 文件，复制以下代码：

 import os
from modelscope.hub.snapshot_download import snapshot_download
# 创建保存模型目录
os.system("mkdir /root/models")
# save_dir是模型保存到本地的目录
save_dir="/root/models"
snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b", 
                  cache_dir=save_dir, 
                  revision='v1.1.0')

执行命令，下载模型参数文件：
python /root/demo/download_mini.py

  1. 运行 cli_demo
    双击打开 /root/demo/cli_demo.py 文件，复制以下代码：
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

输入以下命令，运行demo：

conda activate demo
python /root/demo/cli_demo.py

成功运行后，即可输入内容：

请创作一个 300 字的科幻小故事
效果如下：
在这里插入图片描述

表现不佳的例子

让直接给出markdown源码，但这里还是给出转换后的markdown视图
在这里插入图片描述

进阶作业

config.json 文件下载

熟悉 huggingface 下载功能，使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地（需截图下载过程）
编写config.json下载代码

from huggingface_hub import hf_hub_download
repo_id = "internlm/internlm2-chat-7b"
filename = "config.json"
# 下载文件
file_path = hf_hub_download(repo_id, filename)
print(f"文件已下载到：{file_path}")

下载截图
在这里插入图片描述

完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署

进入开发机，启动 conda 环境：

conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5

在这里插入图片描述

下载 InternLM-XComposer 仓库 相关的代码资源：

cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626

在 terminal 中输入指令，构造软链接快捷访问方式：

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b

在这里插入图片描述
继续输入指令，用于启动 InternLM-XComposer：

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py  \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006

成功通过ssh在本地连接成功后打开网址：
在这里插入图片描述

关闭并重新启动一个新的 terminal，继续输入指令，启动 InternLM-XComposer2-vl：

conda activate demo

cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py  \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006

在这里插入图片描述

完成 Lagent 工具调用 数据分析 Demo 部署

输入命令，开启 conda 环境：

conda activate demo

打开文件子路径

cd /root/demo

使用 git 命令下载 Lagent 相关的代码库：

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

修改对应文件代码
在这里插入图片描述

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

在这里插入图片描述

天天写点代码
关注
  • 15
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
大模型ResNet学习笔记.md
08-21
内容概要： 本文介绍了ResNet（Residual Networks），一种在计算机视觉任务中广泛使用的深度卷积神经网络。ResNet引入了残差连接以解决深层网络中的梯度消失和梯度爆炸问题，允许网络训练非常深的神经网络。 适合人群： 适合对深度学习和计算机视觉领域感兴趣的学生，也适用于正在寻找解决深层网络训练问题的开发者。 能学到什么： 阅读本文后，读者将了解到ResNet的核心思想、残差块的概念、深度网络训练的优势以及如何在PyTorch中实现ResNet模型。读者还可以了解到ResNet在图像分类和物体检测等应用领域的使用。 阅读建议： 鉴于本文内容涉及深度学习和神经网络，建议读者具备一定的计算机视觉和深度学习基础。如果读者对PyTorch有一定了解，将更容易理解模型的代码示例部分。对于初学者，可以通过学习深度学习基础知识和PyTorch的使用方法，逐步理解本文所述内容。同时，根据个人需求，可以进一步研究ResNet在图像分类和物体检测领域的实际应用。
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
领域模型学习笔记
02-22
火龙果软件工程技术中心  对“领域模型”有“忽如一夜春风来”的感觉，太多书籍在谈它。将学习心得记录下来，与大家分享。什么是领域模型？领域模型是对领域内的概念类或现实世界中对象的可视化表示。又称概念模型、领域对象模型、分析对象模型。那什么是概念类呢？概念类是思想、事物或对象。这样的解释，仍然显得抽象。还是先看图吧！（图一）利用上图，我们可以从概念类的符号、内涵和外延三个方面来考虑。符号：表示概念类的词语或图形。内涵：概念类的定义。外延：概念类所适用的一组示例。对应于上图，我们使用符号Sale来表示购买交易事件的概念类；Sale的内涵可以陈述为“表示购买交易的事件，并且具有日期和时间”；Sale的
大模型入门学习笔记.zip
09-16
大模型入门学习笔记.zip 大模型入门学习（主要基于DataWhale组织的学习任务） ## Task 01 梳理了语言模型的进化史。 ## Task 02 这一节主要是讲述大模型的能力，通过一些任务来探索，这里我整理了prompt的范式，包括一个范例，另外整理了langchain介绍，包括一些langchain示例。 ## Task 03 这一部分主要整理了ChatGPT的原理，包括ChatGPT训练的三个阶段，目前这部分仅是简单叙述，接下来会对具体的技术细节进行总结。 ## Task 04 这一部分主要梳理了GPT的进化史，从GPT-1到GPT-3，从数据、模型、训练方式有了一个大致的了解。 ## Task 05 这一部分整理了ChatGPT从零开始的训练流程，主要包括预训练、指令微调、奖励模型三个阶段。
书生·浦语大模型笔记
TLBoris的博客
05-27 294
InternLM2模型通过创新的预训练和优化技术，在六个维度和30个基准测试中表现出色。该模型能够高效捕捉长期依赖关系，最初在4k tokens上训练，然后进阶到32k tokens，并在200k的“针堆”测试中展现出卓越的性能。通过监督式微调（SFT）和一种新的基于条件在线强化学习（COOL RLHF）的策略，InternLM2进一步与人类偏好对齐，解决了冲突的人类偏好和奖励黑客问题。
大模型学习之书生·浦语大模型笔记汇总
uncle_ll的博客
01-30 618
笔记汇总
书生·浦语大模型笔记一
frank_Dawn的博客
04-05 223
示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
书生·浦语大模型笔记二
frank_Dawn的博客
04-05 155
书生浦语大模型动手尝试部署 InternLM2-Chat-1.8B 模型进行智能对话部署实战营优秀作品 八戒-Chat-1.8B 模型通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo实践部署 浦语·灵笔2 模型 部署 InternLM2-Chat-1.8B 模型进行智能对话 部署实战营优秀作品 八戒-Chat-1.8B 模型 通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo 实践部署 浦语·灵笔2 模型
书生·浦语大模型 笔记+作业 OpenCompass 大模型评测
kuangkaiming的博客
01-25 350
书生·浦语大模型 笔记+作业 OpenCompass 大模型评测。
「浦语大模型笔记一」.书生浦语大模型全链路体系
ljn20001229的博客
01-10 421
浦语大模型笔记一，大模型全链路开发
「浦语大模型笔记六」opencompass模型评测
ljn20001229的博客
01-23 1622
1.工具架构2.步骤配置->推理->评估->可视化。配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率，但请注意，如果计算资源有限，这种策略可能会使评测变得更慢。可视化。
「浦语大模型笔记五」lmdeploy大模型部署量化实践
ljn20001229的博客
01-23 966
这节课讲解使用lmdeploy工具包对模型部署和量化的相关知识，主讲人是HuggingLLM负责人长琴，课程文档分享连接。
强化学习——学习笔记3
qq_52302919的博客
05-29 1235
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
Vue3实战笔记（52）—Vue 3封装持仓分析饼图
最新发布
山花的博客
05-30 306
接上文，封装持仓分析饼图。封装好几个组件，用于后续开发。把忧愁煮成茶，让它在心间慢慢沉淀，剩下的，便是清甜的回味。
Python图形界面(GUI)Tkinter笔记（十四）：Entry与Button的碰撞（1）
肥辉的学习笔记
05-29 201
用功能按钮(Button)、单行文本输入框(Entry)、文本框内容读取(get)实现一个极简易的加法运算，及与其他控件的交互，提高体验，主要体现其人机交互的意义。因为Entry()文本输入框没有限制输入内容属性的参数，它是把所有的输入都视作它特有的一个类属性，所以用get()方法读取出来是一个字符串而这字符串可包括字母或其它符号。因此我们必须对其进行判断后再计算，若直接计算可能会出现不可预料的错误。这里用了try...except..进行了简单的错误判断处理。
强化学习——学习笔记
qq_52302919的博客
05-27 1223
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
FFMPEG学习笔记(一): 提取视频的纯音频及无声视频
源的博客
05-27 303
c:a libmp3lame：指定音频编解码器为 libmp3lame，这是 FFmpeg 中用于编码 MP3 文件的编解码器。output.mp4：指定输出文件，这里是 output.mp4，将会是一个没有音频的视频文件。output.mp3：指定输出文件名，这里 output.mp3 将会是提取出的音频文件。-i input.mp4：指定输入文件，input.mp4 是你的视频文件。-an：-an 是 -audio 的简写，后面不跟参数表示禁用音频。-vn：表示禁用视频，只提取音频。
笔记本 rtx3050 本地 大模型
02-29
RTX 3050 是 NVIDIA 推出的一款笔记本显卡，它采用了 Ampere 架构，具备强大的图形处理能力和深度学习性能。RTX 3050 在本地大模型方面可以提供较好的性能支持，适用于进行深度学习、机器学习、图像处理等任务。 对于本地大模型的使用，需要注意以下几点： 1. 内存容量：大模型通常需要较大的内存来存储模型参数和计算中间结果。RTX 3050 笔记本通常配备 4GB 或 6GB 的显存，这对于一些中等规模的模型来说是足够的，但对于更大的模型可能会有限制。 2. 计算能力：RTX 3050 具备较高的计算能力，可以加速深度学习任务的训练和推理过程。它支持 CUDA 和 Tensor Cores 技术，可以提供更快的计算速度和更高的效率。 3. 散热和电源：大模型的训练过程通常会消耗较多的功耗，并产生较多的热量。因此，在选择 RTX 3050 笔记本时，需要关注散热系统和电源供应是否足够强大，以确保在长时间高负载的情况下能够保持稳定性和性能。 总的来说，RTX 3050 笔记本在本地大模型方面具备一定的性能和能力，适合进行一些中等规模的深度学习和机器学习任务。但对于更大规模的模型和计算需求，可能需要考虑更高性能的显卡或者云计算平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天天写点代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值