通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践

最新推荐文章于 2024-07-22 10:36:46 发布
最新推荐文章于 2024-07-22 10:36:46 发布
阅读量1k 收藏 13
点赞数 16
文章标签： 人工智能 大模型 langchain AI产品经理 AI ai大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/139926256
版权

简介： 阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen2模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen2系列模型的微调、评测和快速部署。

Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的Qwen1.5，Qwen2实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中，Qwen2-57B-A14B为混合专家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分组查询注意力）机制，以便让用户体验到GQA带来的推理加速和显存占用降低的优势。

阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen2模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen2系列模型的微调、评测和快速部署。

PAI-QuickStart 介绍

快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。

运行环境要求

  • 本示例目前支持在阿里云北京、上海、深圳、杭州、乌兰察布等多地域，使用PAI-QuickStart产品运行。
  • 资源配置要求：
  • Qwen2-0.5B/1.5B/7B量级模型：最低使用V100/P100/T4（16GB显存）及以上卡型运行训练任务；
  • Qwen1.5-72B量级模型：最低使用A100（80GB显存）及以上卡型运行训练任务。

通过PAI-QuickStart使用模型

开发者可以在 PAI 控制台的“快速开始”入口，找到Qwen2系列模型，以Qwen2-7B-Instruct为例，模型卡片如下图所示：

image.png

模型部署和调用

PAI 提供的Qwen2-7B-Instruct预置了模型的部署配置信息，用户仅需提供推理服务的名称以及部署配置使用的资源信息即可将模型部署到PAI-EAS推理服务平台。当前模型需要使用公共资源组进行部署。

image.png

部署的推理服务支持使用ChatLLM WebUI进行实时交互，示例如下：

image.png

推理服务支持以OpenAI API兼容的方式调用，具体可见以下的Python SDK的示例。

模型微调训练

PAI 为Qwen2-7B-Instruct模型配置了微调算法，支持用户以开箱即用得方式对Qwen2-7B-Instruct进行微调。训练算法支持使用 Json 格式输入，每条数据由问题、答案组成，分用“instruction”、“output”字段表示，例如：

[
    {
        "instruction": "你是一个心血管科医生，请根据患者的问题给出建议：我患高血压五六年啦，天天喝药吃烦啦，哪种东西能根治高血压，高血压克星是什么？",
        "output": "高血压的患者可以吃许多新鲜的水果蔬菜或者是芹菜山药之类的食物，可以起些降血压的作用，另外高血压的患者平时也应当注意低盐，低脂，低胆固醇饮食，适当的实施体育运动和锻练高血压的患者还应当在医生的指导下口服降血压的药物，断然不可擅自停药，防止对血压引发影响。"    
     },
    {
        "instruction": "你是一个呼吸科医生，请根据患者的问题给出建议：风寒感冒咳白痰怎么治疗？",
        "output": "风寒感冒，咳有白痰的患者，主要症咳嗽痰多色白量多，兼具胸脘作闷，鼻塞，流清涕，全身酸痛，易疲劳等症状。临床诊断上常用杏苏散和二陈丸实施治疗。在用药物治疗的同时，应忌食辛辣刺激性的食物和寒凉性食物，多吃易消化营养丰富的食物，宜清淡饮食，留意歇息。"    
     }
]

当完成数据的准备，用户可以将数据上传到对象存储 OSS Bucket 中。算法需要使用V100/P00/T4（16GB显存）的GPU资源，请确保选择使用的资源配额内有充足的计算资源。

image.png

训练算法支持的超参信息如下，用户可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。

超参数默认值类型含义
learning_rate5e-5float模型训练的学习率
num_train_epochs1int训练轮次
per_device_train_batch_size1int每张GPU卡在一次训练迭代的数据量
seq_length128int文本序列长度
lora_dim32intLoRA维度（当lora_dim>0时，使用LoRA/QLoRA轻量化训练）
lora_alpha32intLoRA权重（当lora_dim>0时，使用LoRA/QLoRA轻量化训练，该参数生效）
load_in_4bittruebool模型是否以4比特加载（当lora_dim>0，load_in_4bit为true且load_in_8bit为false时，使用4比特QLoRA轻量化训练）
load_in_8bitfalsebool模型是否以8比特加载（当lora_dim>0，load_in_4bit为false且load_in_8bit为true时，使用8比特QLoRA轻量化训练）
gradient_accumulation_steps8int梯度累积步数
apply_chat_templatetruebool算法是否为训练数据加上模型默认的chat template以Qwen2系列模型为例，格式为- 问题：<
  • 答案：<|im_start|>assistant\n + output + <|im_end|>\n |
    | system_prompt | true | string | 模型训练使用的系统提示语，默认为You are a helpful assistant |

点击“训练”按钮，PAI-QuickStart 开始进行训练，用户可以查看训练任务状态和训练日志。

image.png

如果需要将模型部署至PAI-EAS，可以在同一页面的模型部署卡面选择资源组，并且点击“部署”按钮实现一键部署。模型调用方式和上文直接部署模型的调用方式相同。

如果需要评测微调后模型的性能，可以从任务页面右上角评测按钮进入评测页。详情见下一节：模型评测。

模型评测

PAI 为Qwen2-7B-Instruct模型配置了评测算法，支持用户以开箱即用得方式对Qwen2-7B-Instruc以及微调后模型进行评测。通过评测能帮助用户和其他模型做性能对比，更能指导用户进行精准地模型选择和优化。

模型评测入口：

从“快速开始”页面完成Qwen2-7B-Instruct开源模型的评测image.png
从训练任务详情页完成微调后模型的评测image.png

模型评测支持自定义数据集评测和公开数据集评测：

image.png

  • 自定义数据集评测

对于自定义数据集评测，我们使用NLP领域标准的文本匹配方式，计算模型输出结果和真实结果的匹配度，值越大，模型越好。使用该评测方式，基于自己场景的独特数据，可以评测所选模型是否适合自己的场景。

评测需要提供JSONL格式的评测集文件，每条数据使用question标识问题列，answer标识答案列，例如：

[{"question": "中国发明了造纸术，是否正确？", "answer": "正确"}]
[{"question": "中国发明了火药，是否正确？", "answer": "正确"}]

符合格式要求的评测集，可自行上传至OSS，并创建自定义数据集，详情参见上传OSS文件和创建及管理数据集。
之后选择评测结果输出路径，并根据系统推荐选择相应计算资源，最后提交评测任务。等待任务完成，在任务页面查看评测结果（模型在ROUGE和BLEU系列指标上的得分）：

image.png

  • 公开数据集评测

在公开数据集评测中，我们通过对开源的评测数据集按领域分类，对大模型进行综合能力评估，例如数学能力、知识能力、推理能力等，值越大，模型越好。目前PAI维护了MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA，其他公开数据集陆续接入中。
无需准备数据，直接选择PAI提供的公开数据集、评测结果输出路径、计算资源即可提交评测任务。等待任务完成，在任务页面查看评测结果（模型在各个公开数据集的得分情况，其中每个公开数据集的评测范围详见数据集官方介绍）：

image.png

通过Python SDK使用

PAI 提供了Python SDK，支持开发者方便得使用Python在PAI完成模型的开发到上线的。通过PAI Python SDK，开发者可以轻松调用PAI-快速开始提供的模型，完成相应模型的微调训练和部署。

部署推理服务的示例代码如下：

from pai.model import RegisteredModel
from openai import OpenAI
# 获取PAI提供的模型
model = RegisteredModel(
    model_name="qwen2-7b-instruct",
    model_provider="pai"
)
# 直接部署模型
predictor = model.deploy(
    service="qwen2_7b_instruct_example"
)
# 构建openai client，使用的OPENAI_BASE_URL为: <ServiceEndpint> + "/v1/"
openai_client: OpenAI = predictor.openai()
# 通过openai SDK调用推理服务
resp = openai_client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "What is the meaning of life?"},
    ],
    # 默认的model name为"default"
    model="default"
)
print(resp.choices[0].message.content)
# 测试完成之后，删除推理服务
predictor.delete_service()

微调训练的示例代码如下：

# 获取模型的微调训练算法
est = model.get_estimator()
# 获取PAI提供的公共读数据和预训练模型
training_inputs = model.get_estimator_inputs()
# 使用用户自定义数据
# training_inputs.update(
#     {
#         "train": "<训练数据集OSS或是本地路径>",
#         "validation": "<验证数据集的OSS或是本地路径>"
#     }
# )
# 使用默认数据提交训练任务
est.fit(
    inputs=training_inputs
)
# 查看训练产出模型的OSS路径
print(est.model_data())

通过快速开始的模型卡片详情页，用户可以通过“在DSW打开”入口，获取一个完整的Notebooks示例，了解如何通过PAI Python SDK使用的细节。

结论

Qwen2（通义千问2）的推出标志着阿里云在开源大语言模型领域的最新进展。这个系列推出了不同规模的开源模型，可广泛用于多样化的下游应用场景。开发者可以借助PAI-QuickStart轻松地对Qwen2模型进行定制和部署。此外，PAI QuickStart还汇集了一系列先进的模型，覆盖多个专业领域，欢迎广大开发者们体验和应用这些丰富的资源。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Llama-Turbo
关注
Qwen2大模型微调入门实战（附完整代码）
m0_59235699的博客
06-25 2111
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的文本预测任务。
Qwen2大模型原理、训练及推理部署实战
科学的N次方
06-10 1337
这些步骤展示了从训练到部署的整个流程。Qwen-2使用的实际细节和技术可能更复杂，涉及特定的优化算法和框架，但以上提供了一个基本的概念和流程。Qwen-2基于Transformer架构，这是现代NLP模型的基础。
Qwen2 技术报告（中文版）
木尧大兄弟
07-17 3663
这篇技术报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型系列中的最新成员。我们发布了一套全面的基础和指令调整语言模型，参数范围从0.5b 到 72b，包括稠密模型和专家混合模型。Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并且与专有模型表现出竞争力。
Qwen2大模型微调入门实战（完整代码）
SoulmateY的博客
06-09 1万+
是通义千问团队的开源大语言模型，由阿里云通义实验室研发。以Qwen2作为基座大模型，通过指令微调的方式实现高准确率的文本分类，是学习的入门任务。指令微调是一种通过在由（指令，输出）对组成的数据集上进一步训练LLMs的过程。其中，指令代表模型的人类指令，输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务，同时使用SwanLab进行监控和可视化。本教程参考了。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 7540
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
保姆级本地部署Qwen2
紫川琴秀的博客
06-27 1192
保姆级本地部署Qwen2
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
阿里云云栖号
03-18 2350
阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
大语言模型部署-使用OpenVINO部署通义千问QWen2-附项目源码+流程教程-优质项目实战.zip
06-07
总结来说，这个优质项目实战将教会你如何使用OpenVINO有效地部署通义千问QWen2这样的大语言模型，从而实现高效、实时的自然语言处理服务。通过学习和实践，你将在深度学习模型部署方面取得长足的进步，对于提升AI...
大模型部署-基于vLLM部署通义千问Qwen大语言模型-附项目源码+流程教程-优质项目实战.zip
07-09
大模型部署_基于vLLM部署通义千问Qwen大语言模型_附项目源码+流程教程_优质项目实战.zip
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
weixin_42878111的博客
05-23 1273
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰富的数据集和预训练模型，便于用户进行模型微调。通义千问Qwen1.5是阿里巴巴推出的一款大型语言模型，具有多语言处理能力和较强的生成能力。
Qwen2大模型微调入门实战-命名实体识别（NER）任务（完整代码）
SoulmateY的博客
06-20 2109
基于Qwen2-1.5B大模型，实现命名实体识别（NER）任务，是学习LLM微调非常好的入门任务之一，本文将提供完整的代码、模型、数据以及SwanLab实验过程，来帮助你学习如何进行微调。
Qwen2大语言模型微调、导出、部署实践
liguiyuan的博客
06-16 2392
上篇文章：我们介绍了Qwen1.5 大语言模型使用LLaMA-Factory 来微调，这篇文章我们介绍一下微调后模型的导出、部署。
【机器学习】Qwen2大模型原理、训练及推理部署实战
热门推荐
人工智能领域博客
06-10 1万+
本文首先对Qwen2模型概述以及模型架构进行讲解，接着基于llama_factory命令行的方式进行模型训练演示，最后基于hf transformers进行模型推理的讲解。过程中排了好几个坑，呈上的代码保证在国内网络环境下是可运行的。希望能帮助到大家
基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）
老牛啊
07-20 2173
本教程详细介绍了 LoRA 参数高效微调技术，包括数据集准备和处理、模型加载、参数设置等，然后以 Qwen2-0.5B 预训练模型实践，进行了文本分类能力微调，微调过程通过 SwanLab 可视化界面查看，最终微调模型进行测试数据评估……
Qwen2 -微调 Qwen2
最新发布
人工智能曾小健
07-22 1565
各种参数（例如 r、target_modules、lora_alpha、lora_dropout、bias、use_gradient_checkpointing、random_state、use_rslora 和 loftq_config）用于配置 PEFT 过程。Qwen2 是一系列语言模型，包括各种大小的解码器模型。Qwen2 系列由 5 种尺寸的基础和指令调整模型组成：Qwen2–0.5B、Qwen2–1.5B、Qwen2–7B、Qwen2–57B-A14B 和 Qwen2–72B。
LLMs之Qwen2：Qwen2的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-14 5509
​ LLMs之Qwen2：Qwen2的简介、安装和使用方法、案例应用之详细攻略 目录 Qwen2的简介 Qwen2的安装和使用方法 Qwen2的案例应用 Qwen2的简介 2024年6月6日，发布Qwen2，Qwen2是从Qwen1.5进化而来，提供五种规模的预训练和指令微调模型（0.5B、1.5B、7B、57B-A14B和72B），支持多达27种语言，具有顶尖的基准测试性能，在编码和数学方面显著提升，并扩展了Qwen2-7B-Instruct和Qwen2
通义千问 2，大模型应用开发时的新选择
成富的专栏
07-04 633
我在进行 AI 相关的开发中，最常用的模型是通义千问。本地开发的时候，使用 Ollama 来运行 qwen 模型。集成测试和线上环境，使用阿里云模型服务灵积上的通义千问模型。使用阿里云的好处是：模型服务的获取方便，稳定性好，可以及时获取到服务支持。现在通义千问出了新的版本，qwen2。qwen2 有 4 种参数尺寸：0.5b、1.5b、7b 和 72b。qwen2 的 0.5b 和 1.5b 的上...
qwen2 chattts
06-22
<< Qwen2是一个由CSDN自主研发的AI模型，它并非与OpenAI公司的ChatGPT直接相关，但同样具备生成文本和对话的能力。Qwen2被设计成能够提供准确的信息、解答问题和进行有意义的交谈，旨在帮助用户获取知识和解决问题。与ChatGPT类似，Qwen2利用了自然语言处理技术，能够理解和生成人类语言。 如果您有任何问题或需要关于Qwen2的特定信息，请随时提问： 1. Qwen2的主要功能是什么？ 2. Qwen2的工作原理是什么？ 3. 在使用Qwen2时，有哪些注意事项或限制？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值