Llama3实践教程（InternStudio 版）

已于 2024-05-16 13:34:58 修改
阅读量1k 收藏 11
点赞数 27
文章标签： llama
于 2024-05-07 10:38:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hello2Bonjour/article/details/138522446
版权

Llama3实践教程（InternStudio 版）

本实践教程包括：

  • Llama 3 Web Demo 部署
  • XTuner 微调 Llama3 个人小助手认知
  • LMDeploy 高效部署 Llama3 实践
  • XTuner 微调 Llama3 图片理解多模态
  • Llama 3 Agent 能力体验+微调

一、Llama 3 Web Demo 部署

前提：本人使用InternStudio平台的30%A100完成以下实践

1.1 环境配置

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

在这里插入图片描述

1.2 下载模型

新建文件夹

mkdir -p ~/model
cd ~/model

软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

在这里插入图片描述

1.3 Web Demo 部署

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

在这里插入图片描述

Vscode转发端口配置后，打开localhost+转发端口，等待大模型加载成功后即可进行问答
在这里插入图片描述

二、XTuner 微调 Llama3 个人小助手认知

2.1 自我认知训练数据集准备

激活llama3环境后，运行训练数据集脚本

cd ~/Llama3-Tutorial
python tools/gdata.py

以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示：
在这里插入图片描述

2.2 XTuner配置文件准备

已经修改好了configs/assistant/llama3_8b_instruct_qlora_assistant.py

数据集地址修改

在这里插入图片描述

2.3 训练模型

cd ~/Llama3-Tutorial

# 开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

# Adapter PTH 转 HF 格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

# 模型合并
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 推理验证

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

此时 已经拥有了 SmartFlowAI 打造的人工智能助手。
在这里插入图片描述

三、LMDeploy 高效部署 Llama3 实践

3.1 环境，模型准备

3.1.1 环境配置 lmdeploy
# 如果你是InternStudio 可以直接使用
# studio-conda -t lmdeploy -o pytorch-2.1.2
# 初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装lmdeploy最新版。

pip install -U lmdeploy[all]

软链接 InternStudio 中的模型在1.2中已经进行，此处可不进行

3.2 LMDeploy Chat CLI 工具

直接在终端运行

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

运行结果是：
在这里插入图片描述

3.3 LMDeploy模型量化(lite)

3.3.1 设置最大KV Cache缓存大小
3.3.1.1 实验一 设置KV缓存占比0.8

模型在运行时的显存占用可分为：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。

下面调整--cache-max-entry-count参数进行对比实验。

首先保持不加该参数（默认0.8），运行 Llama3-8b 模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.8

终端运行查看显存占用情况

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

在这里插入图片描述

此时模型的占用为23133M。

3.3.1.2 实验二 设置KV缓存占比0.5

下面，改变--cache-max-entry-count参数，设为0.5。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

在这里插入图片描述

看到显存占用明显降低，变为20509M。
在这里插入图片描述

3.3.1.3 实验三 设置KV缓存占比0.01

把--cache-max-entry-count参数设置为0.01，约等于禁止KV Cache占用显存。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01

在这里插入图片描述

此时显存占用仅为40388 - 24183 = 16205M（此时有其他应程序占用显存），此时模型推理速度降低。

3.3.2 使用W4A16量化

仅需执行一条命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
   /root/model/Meta-Llama-3-8B-Instruct \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit

量化工作结束后，新的HF模型被保存到Meta-Llama-3-8B-Instruct_4bit目录。下面使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq

将KV Cache比例再次调为0.01，查看显存占用情况。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

在这里插入图片描述

可以看到，显存占用变为30734 - 24183 = 6551MB，明显降低。

3.3.3 在线量化 KV

自 v0.4.0 起，LMDeploy KV 量化方式有原来的离线改为在线。并且，支持两种数值精度 int4、int8。

3.4 LMDeploy服务（serve）

在前面的章节，我们都是在本地直接推理大模型，这种方式成为本地部署。在生产环境下，我们有时会将大模型封装为 API 接口服务，供客户端访问。

3.4.1 启动API服务器

通过以下命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型：

lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。
在这里插入图片描述

通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。
你也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。
在这里插入图片描述

这一步由于Server在远程服务器上，所以本地需要做一下ssh转发才能直接访问。在你本地打开一个cmd窗口，输入命令如下：

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

然后打开浏览器，访问http://127.0.0.1:23333。

3.4.2 命令行客户端连接API服务器

在“4.1”中，我们在终端里新开了一个API服务器。
本节中，我们要新建一个命令行客户端去连接API服务器。首先通过VS Code新建一个终端：
激活conda环境

conda activate lmdeploy

运行命令行客户端：

lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话

3.4.3 网页客户端连接API服务器

服务器端不关闭，打开另一个终端执行以下。

# 安装gradio
pip install gradio==3.50.2
# 打开conda环境
conda activate lmdeploy
# 启动Gradio网页客户端
lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

访问地址http://127.0.0.1:6006
在这里插入图片描述

四、XTuner 微调 Llama3 图片理解多模态

4.1 数据准备

按照 https://github.com/InternLM/Tutorial/blob/camp2/xtuner/llava/xtuner_llava.md 中的教程来准备微调数据。

执行以下代码：

cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
  -i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
  -o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
  -n 200

4.2 训练启动

官方已经为大家准备好可一键启动的配置文件，主要修改了模型路径、对话模板以及数据路径。

修改llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py文件中的batchsize为4。
使用如下指令以启动训练：

xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload

4.3 格式转换

在训练好后，将原始 image projector 和 我们微调得到的 image projector 都转换为 HuggingFace 格式

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/model/llama3-llava-iter_2181.pth \
  ~/llama3_llava_pth/pretrain_iter_2181_hf

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3_llava_pth/iter_300.pth \
  ~/llama3_llava_pth/iter_300_hf

4.4 效果对比

在转换完成后，可以在命令行体验微调前后模型的效果。

问题1：Describe this image.
问题2：What is the equipment in the image?

图片如下所示：
在这里插入图片描述

Pretrain 模型

export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/pretrain_iter_2181_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

在这里插入图片描述

此时可以看到，Pretrain 模型只会为图片打标签，并不能回答问题。

Finetune 后模型

export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/iter_300_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

在这里插入图片描述

经过 Finetune 后，我们可以发现，模型已经可以根据图片回答我们的问题了。

五、Llama 3 Agent 能力体验+微调

使用基于 Lagent 的 Web Demo 来直观体验一下 Llama3 模型在 ReAct 范式下的智能体能力。我们让它使用 ArxivSearch 工具来搜索 InternLM2 的技术报告。使用 XTuner 在 Agent-FLAN 数据集上微调 Llama3-8B-Instruct，以让 Llama3-8B-Instruct 模型获得智能体能力。

5.1 准备工作

5.1.1 环境配置

如果在前面的实践中已经配置好了环境，这里选择直接执行 conda activate llama3 以进入环境。

最后， clone 本教程仓库。

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial
5.1.2 模型准备

在微调开始前，我们首先来准备 Llama3-8B-Instruct 模型权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .
5.1.3 数据集准备

由于 HuggingFace 上的 Agent-FLAN 数据集暂时无法被 XTuner 直接加载，因此我们首先要下载到本地，然后转换成 XTuner 直接可用的格式。

已经在 InternStudio 上准备好了一份转换好的数据，可以直接通过如下脚本准备好：

cd ~
cp -r /root/share/new_models/internlm/Agent-FLAN .
chmod -R 755 Agent-FLAN

在 SmartFlowAI/Llama3-Tutorial 仓库中已经准备好了相关转换脚本。

python ~/Llama3-Tutorial/tools/convert_agentflan.py ~/Agent-FLAN/data

转换好的数据位于 ~/Agent-FLAN/data_converted

5.2 微调训练启动

使用如下指令以启动训练：

export MKL_SERVICE_FORCE_INTEL=1
xtuner train ~/Llama3-Tutorial/configs/llama3-agentflan/llama3_8b_instruct_qlora_agentflan_3e.py --work-dir ~/llama3_agent_pth --deepspeed deepspeed_zero2

在训练完成后，我们将权重转换为 HuggingFace 格式，并合并到原权重中。

# 转换权重
xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-agentflan/llama3_8b_instruct_qlora_agentflan_3e.py \
    ~/llama3_agent_pth/iter_18516.pth \
    ~/llama3_agent_pth/iter_18516_hf

由于训练时间太长，官方也为大家准备已经训练好且转换为 HuggingFace 格式的权重，可以直接使用。路径位于 /share/new_models/agent-flan/iter_2316_hf。

如果要使用已经训练好的权重，可以使用如下指令合并权重：

export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
    /share/new_models/agent-flan/iter_2316_hf \
    ~/llama3_agent_pth/merged

5.3 Lagent Web Demo

在微调前后启动 Web Demo 以观察效果。

首先先来安装 lagent。

pip install lagent

然后使用如下指令启动微调前 Web Demo：

streamlit run ~/Llama3-Tutorial/tools/agent_web_demo.py /root/model/Meta-Llama-3-8B-Instruct

在这里插入图片描述

使用如下指令启动微调前 Web Demo：

streamlit run ~/Llama3-Tutorial/tools/agent_web_demo.py /root/llama3_agent_pth/merged

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

好像并没有太成功！

Hello2Bonjour
关注
  • 27
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Llama 3 微调项目实践与教程（XTuner 版）
人工智能曾小健
04-20 1081
到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。
【LLama】Llama3 的本地部署与lora微调(基于xturn)
进一寸有一寸的欢喜
05-06 3230
llama3的stremlit部署+使用xturn微甜
pip install -e .安装环境
热门推荐
githubcurry
05-14 1万+
的含义是：在当前目录下安装一个包，并创建一个软连接引用该包（而不是将包复制到 site-packages 目录下）。这个软连接是一个指向包代码的符号链接，它可以使包的修改直接反映到当前目录下的项目中，从而方便开发和调试。需要注意的是，只有包含 setup.py 文件（Python 包的打包脚本）的包才能使用。是 pip 命令的一种使用方式，它表示在当前目录下安装一个可编辑包。另外，为了避免环境冲突，建议在虚拟环境中使用该命令。
五一假期Llama 3之魔改不完全攻略（Part 2)
weixin_53443275的博客
05-02 861
2024年4月18日，Meta AI 正式宣布推出 Llama 3，这标志着开源大型语言模型（LLM）领域的又一重大进步。如同一颗重磅炸弹， Llama 3 以其卓越的性能和广泛的应用前景，预示着 AI 技术的新时代。目前开源的是Llama3 8B 和 70B，趁着五一小长假，别人在外人从众，我在家偷偷魔改Llama3。
Llama 3：迄今最强开源大模型，性能媲美GPT-4！附下载教程！
m0_59235945的博客
04-24 2829
1.Llama 3 介绍Llama 3是由Meta公司发布的大型语言模型，其在多个关键基准测试中性能优于业界先进同类模型，尤其在代码生成等任务上实现了全面领先。Llama 3在技术层面实现了显著的突破。它采用了更为先进的预训练策略，使其在理解自然语言方面的能力得到了显著提升。此外，Llama 3还优化了其解码器，使得生成的文本更具逻辑性与连贯性。这些改进使得Llama 3在对话生成、问答系统等应用场景中表现出色，为用户提供了更为优质的体验。02.Llama 3主要亮点超大规模训练数据。
llama3-8b tokenizer.model
06-11
《llama3-8b tokenizer.model：理解和应用》 在深度学习领域，预处理是模型训练过程中的关键步骤，而tokenizer则是预处理阶段的核心工具。本文将深入探讨“llama3-8b tokenizer.model”，一个专门用于处理大模型如...
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
总结而言，这个项目提供了一个完整的实践路径，让开发者能够学习到如何使用OpenVINO将大型语言模型LLaMa3本地化部署。通过源码和教程，你可以深入了解OpenVINO的工作原理，掌握模型转换和推理的关键步骤，同时提升在...
Optimum Intel三步完成Llama3在算力魔方的本地量化和部署
英特尔开发人员专区
04-28 1358
Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、LLama模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用六个API函数，方便快捷的实现将Llama3本地化部署在基于英特尔处理器的算力魔方上。
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
为了不折腾而去折腾的那些事
03-13 6195
接着之前文章《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。
【新书】大模型与生成式人工智能医学应用，58页pdf
2301_76168381的博客
04-07 342
这本实用书籍向医疗保健领导者、研究人员、数据科学家和AI工程师展示了LLMs和生成式AI今天以及将来的潜力，使用故事讲述和医疗保健中的示例用例。谷歌医疗保健和生命科学行业团队的Kerrie Holley和Manish Mathur帮助您探索这些技术在医疗保健中的实际应用，从个性化患者护理和药物发现到增强的医学成像和机器人辅助手术。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。理解LLMs和生成式AI在医疗保健中的潜在用途，以及它们在近期及未来的前景。
【本地大模型】本地部署Llama3模型的极简教程
沐风—云端行者
04-22 1633
Ollama是一个为本地运行开源大型语言模型而设计的简化工具。它通过将模型权重、配置和数据集整合到一个由Modelfile管理的统一包中，极大地简化了LLM的部署过程。Ollama 支持各种 LLM。可以在官网查看相关信息：https://ollama.com/。本文提供了一个关于如何在本地部署和运行Llama3模型的极简教程，并展示了如何结合open-webui来交互和解析本地文档。通过Ollama工具，无论是MacOS、Linux还是Windows用户，都可以轻松地体验到这一强大的语言模型。
Llama - Prompting
编码时光
07-16 564
制作有效的提示 明确说明 风格化 格式化 限制 提示使用 Zero- and Few-Shot 学习 Zero-Shot Prompting Few-Shot Prompting 基于角色的提示 思维链技术 Self-Consistency 检索-增强生成 程序辅助语言模型 限制无关token 减少幻觉
Llama - 微调
编码时光
07-16 1044
微调 实验跟踪 Recipes PEFT LoRA torchtune Hugging Face PEFT LoRA QLoRA微调
LLaMA-Factory
最新发布
编码时光
07-17 929
一、关于 LLaMA-Factory 项目特色 性能指标 二、如何使用 1、安装 LLaMA Factory 2、数据准备 3、快速开始 4、LLaMA Board 可视化微调 5、构建 Docker CUDA 用户： 昇腾 NPU 用户： 不使用 Docker Compose 构建 CUDA 用户： 昇腾 NPU 用户： 数据卷详情 6、利用 vLLM 部署 OpenAI API 7、从魔搭社区下载 8、使用 W&B 面板 三、支持 1、模型 2、训练方法 3、数据集 预训练数据集 指令微调数据集 偏好
llama factory教程
02-05
Llama Factory教程是一种关于如何制作毛绒玩具羊驼的教程。这个教程是由专业的手工艺人和毛绒玩具制造者制作的，旨在教授人们如何制作自己的毛绒玩具羊驼。 这个教程涵盖了从准备工作到完成毛绒玩具羊驼的全部过程。首先，教程介绍了所需材料和工具，例如绒毛、填充物、假眼睛和缝纫线等。然后，教程详细说明了如何剪裁和缝制绒毛，以及如何使用填充物将玩具羊驼填充得饱满而柔软。 在制作过程中，教程还强调了注意事项和技巧。例如，在剪裁绒毛时要注意方向和长度的一致性，以确保毛绒玩具羊驼的外观更加逼真。同时，教程还提供了关于绣眼睛、绣鼻子和绣嘴巴等细节步骤的指导，这些步骤可以使玩具羊驼栩栩如生。 最后，教程还介绍了如何为制作完成的毛绒玩具羊驼增添更多的个性和特色。例如，可以给玩具羊驼添加颜色、花纹或装饰物，使其与众不同。 通过Llama Factory教程，人们可以学习到制作毛绒玩具羊驼的基本技巧和方法，并通过加入自己的创意和想象力，打造出独一无二的作品。这个教程不仅适合手工爱好者和毛绒玩具收藏家，也适合那些对手工艺术和创作有兴趣的人。无论是作为一项爱好还是作为一种创业的潜力，Llama Factory教程都能带给人们无限的乐趣和创作的满足感。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值