七天入门大模型 ：LLM和多模态模型高效推理实践

最新推荐文章于 2024-04-17 00:19:02 发布
最新推荐文章于 2024-04-17 00:19:02 发布
阅读量842 收藏 26
点赞数 23
分类专栏： 大模型实战 NLP与大模型 文章标签： 自然语言处理 人工智能 算法 大模型 模型微调 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75499313/article/details/136114296
版权

图片
前两天，我们已分享了

今天我们继续分享相关内容，需要技术交流、答疑的小伙伴，可以加入我们的技术社群

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了NLP&大模型面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

内容摘要

本课程以Qwen系列模型为例，主要介绍在魔搭社区如何高效推理LLM和多模态模型，主要包括如下内容：

  • LLM和多模态大模型的推理

    • 使用ModelScope NoteBook免费GPU推理Qwen-1.8B-Chat-int4
    • 使用ModelScope NoteBook免费GPU推理Qwen-VL-Chat-int4
    • 使用ModelScope NoteBook免费GPU推理Qwen-audio-Chat

  • 推理加速和多端推理

    • 推理加速：vLLM+fastchat加速推理
    • 多端推理适配-Qwen.cpp和LLaMa.cpp转化模型为gguf或者ggml，并结合Xinference在本地笔记本部署。

  • LLM的应用场景，RAG&Agent

    • 使用llama index和langchain打造基于本地知识库的ChatBot

多模态大模型推理

LLM的推理流程：

图片

多模态的LLM的原理：

图片

代码演示：

使用ModelScope NoteBook完成语言大模型，视觉大模型，音频大模型的推理

环境配置与安装

以下主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行（显存24G） ：

1.点击模型右侧Notebook快速开发按钮，选择GPU环境：

图片

2.打开Python 3 (ipykernel)：

图片

示例代码

语言大模型推理示例代码

#通义千问1_8B LLM大模型的推理代码示例
#通义千问1_8B:https://modelscope.cn/models/qwen/Qwen-1_8B-Chat/summary
from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-1_8B-Chat", revision='master', trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", device_map="cpu", trust_remote_code=True).eval()
# use auto mode, automatically select precision based on the device.
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-1_8B-Chat", revision='master', device_map="auto", trust_remote_code=True).eval()

# Specify hyperparameters for generation. But if you use transformers>=4.32.0, there is no need to do this.
# model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-1_8B-Chat", trust_remote_code=True) # 可指定不同的生成长度、top_p等相关超参

# 第一轮对话 1st dialogue turn
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。

# 第二轮对话 2nd dialogue turn
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
# 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# 故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
# 为了实现这个目标，李明勤奋学习，考上了大学。在大学期间，他积极参加各种创业比赛，获得了不少奖项。他还利用课余时间去实习，积累了宝贵的经验。
# 毕业后，李明决定开始自己的创业之路。他开始寻找投资机会，但多次都被拒绝了。然而，他并没有放弃。他继续努力，不断改进自己的创业计划，并寻找新的投资机会。
# 最终，李明成功地获得了一笔投资，开始了自己的创业之路。他成立了一家科技公司，专注于开发新型软件。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
# 李明的成功并不是偶然的。他勤奋、坚韧、勇于冒险，不断学习和改进自己。他的成功也证明了，只要努力奋斗，任何人都有可能取得成功。

# 第三轮对话 3rd dialogue turn
response, history = model.chat(tokenizer, "给这个故事起一个标题", history=history)
print(response)
# 《奋斗创业：一个年轻人的成功之路》

# Qwen-1.8B-Chat现在可以通过调整系统指令（System Prompt），实现角色扮演，语言风格迁移，任务设定，行为设定等能力。
# Qwen-1.8B-Chat can realize roly playing, language style transfer, task setting, and behavior setting by system prompt.
response, _ = model.chat(tokenizer, "你好呀", history=None, system="请用二次元可爱语气和我说话")
print(response)
# 你好啊！我是一只可爱的二次元猫咪哦，不知道你有什么问题需要我帮忙解答吗？

response, _ = model.chat(tokenizer, "My colleague works diligently", history=None, system="You will write beautiful compliments according to needs")
print(response)
# Your colleague is an outstanding worker! Their dedication and hard work are truly inspiring. They always go above and beyond to ensure that 
# their tasks are completed on time and to the highest standard. I am lucky to have them as a colleague, and I know I can count on them to handle any challenge that comes their way.

输出结果：

图片

视觉大模型推理示例代码

#Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型性能强大，具备多语言对话、多图交错对话等能力，并支持中文开放域定位和细粒度图像识别与理解。
from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
from auto_gptq import AutoGPTQForCausalLM

model_dir = snapshot_download("qwen/Qwen-VL-Chat-Int4", revision='v1.0.0')

import torch
torch.manual_seed(1234)

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True,use_safetensors=True).eval()

# 1st dialogue turn
query = tokenizer.from_list_format([
    {'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'},
    {'text': '这是什么'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# 图中是一名年轻女子在沙滩上和她的狗玩耍，狗的品种可能是拉布拉多。她们坐在沙滩上，狗的前腿抬起来，似乎在和人类击掌。两人之间充满了信任和爱。

# 2nd dialogue turn
response, history = model.chat(tokenizer, '输出"狗"的检测框', history=history)
print(response)

image = tokenizer.draw_bbox_on_latest_picture(response, history)
if image:
  image.save('1.jpg')
else:
  print("no box")

输出结果：

图片

图片

音频大模型推理示例代码

from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
import torch
model_id = 'qwen/Qwen-Audio-Chat'
revision = 'master'

model_dir = snapshot_download(model_id, revision=revision)
torch.manual_seed(1234)

tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
if not hasattr(tokenizer, 'model_dir'):
    tokenizer.model_dir = model_dir

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# use bf16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, bf16=True).eval()
# use fp16
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True, fp16=True).eval()
# use cpu only
# model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cpu", trust_remote_code=True).eval()
# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True).eval()


# 1st dialogue turn
query = tokenizer.from_list_format([
    {'audio': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-Audio/1272-128104-0000.flac'}, # Either a local path or an url
    {'text': 'what does the person say?'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# The person says: "mister quilter is the apostle of the middle classes and we are glad to welcome his gospel".

# 2nd dialogue turn
response, history = model.chat(tokenizer, 'Find the start time and end time of the word "middle classes"', history=history)
print(response)
# The word "middle classes" starts at <|2.33|> seconds and ends at <|3.26|> seconds.

输出结果：

图片

vLLM+FastChat高效推理实战

FastChat是一个开放平台，用于训练、服务和评估基于LLM的ChatBot。

FastChat的核心功能包括：

  • 优秀的大语言模型训练和评估代码。

  • 具有Web UI和OpenAI兼容的RESTful API的分布式多模型服务系统。

vLLM是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟缓存和分页技术开发的LLM服务系统。他实现了几乎零浪费的KV缓存，并且可以在请求内部和请求之间灵活共享KV高速缓存，从而减少内存使用量。

FastChat开源链接：

https://github.com/lm-sys/FastChat

vLLM开源链接：

https://github.com/vllm-project/vllm

实战演示：

安装FastChat最新包

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip install .

环境变量设置

在vLLM和FastChat上使用魔搭的模型需要设置两个环境变量：

export VLLM_USE_MODELSCOPE=True
export FASTCHAT_USE_MODELSCOPE=True

使用FastChat和vLLM实现发布model worker(s)

可以结合FastChat和vLLM搭建一个网页Demo或者类OpenAI API服务器，首先启动一个controller：

python -m fastchat.serve.controller

然后启动vllm_worker发布模型。如下给出单卡推理的示例，运行如下命令：

千问模型示例：

#以qwen-1.8B为例，在A10运行
python -m fastchat.serve.vllm_worker --model-path qwen/Qwen-1_8B-Chat --trust-remote-code --dtype bfloat16

启动vLLM优化worker后，本次实践启动页面端demo展示：

python -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8000

让我们体验极致推理优化的效果吧!

多端部署实战

魔搭社区和Xinference合作，提供了模型GGML的部署方式，以qwen+个人Mac电脑为例。

Xinference支持大语言模型，语音识别模型，多模态模型的部署，简化了部署流程，通过一行命令完成模型的部署工作。并支持众多前沿的大语言模型，结合GGML技术，支持多端部署。

图片

使用Qwen.cpp实现通义千问的多端部署：

多端部署以1.8B模型为例，

第一步：使用qwen.cpp将pytorch格式的千问模型转为GGML格式。

python3 qwen_cpp/convert.py -i qwen/Qwen-1_8-Chat -t q4_0 -o qwen-1_8b-ggml.bin

第二步：在Xinference上launch模型，并部署到Mac笔记本实现推理。

第三天：LLM和多模态模型高效推理实践

第三天：LLM和多模态模型高效推理实践

LLM的应用场景：RAG

LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。

正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。

RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。

一个典型的RAG的例子：

图片

这里面主要包括包括三个基本步骤：

  1. 索引 — 将文档库分割成较短的 Chunk，并通过编码器构建向量索引。

  2. 检索 — 根据问题和 chunks 的相似度检索相关文档片段。

  3. 生成 — 以检索到的上下文为条件，生成问题的回答。

RAG（开卷考试）VS. Finetune（专业课程学习）

图片

示例代码：

https://github.com/modelscope/modelscope/blob/master/examples/pytorch/application/qwen_doc_search_QA_based_on_langchain_llamaindex.ipynb

深度学习算法与自然语言处理
关注
  • 23
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大规模语言模型：从理论到实践
09-11
大规模语言模型（Large Language Models，LLM），也称大规模语言模型 或大型语言模型 ，是一种 由包含数百亿以上参数的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标注文 本进行训练。自 2018 年以来，Google、OpenAI、Meta、百度、华为等公司和研究机构都相继发布 了包括 BERT[1]，GPT[6] 等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2019 年 大模型呈现爆发式的增长，特别是 2022 年 11 月 ChatGPT（Chat Generative Pre-trained Transformer） 发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、 分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识 掌握和对语言的理解。
高质量中文预训练模型;大模型;多模态模型;大语言模型集合.zip
08-20
大模型合集： + [基础大模型](#LLM) + [对话大模型](#ChatLLM) + [多模态对话大模型](#MultiModal-ChatLLM) + [大模型评估基准](#大模型评估基准) + [在线体验大模型](#在线体验大模型) + [开源模型库平台](#开源模型库平台) + [开源数据集库](#开源数据集库) + [开源中文指令数据集](#中文指令数据集)
大模型LLM，RAG实战.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
多模态模型和大型语言模型(LLM)：概念解析与实例探究
最新发布
u011532237的博客
04-17 715
多模态模型是指那些能够处理并融合来自于不同数据源（或称“模态”）的信息的模型。这些模态可能是图像、文本、音频、视频等。这类模型背后的关键理念是人类的感知系统本质上是多模态的，我们往往依赖于视觉和听觉的结合来理解世界。在模拟这种感知过程的时候，多模态模型努力通过整合来自不同感官的数据，从而实现更加丰富和深入的数据理解。LLM，是那些专门为处理语言任务而设计的大型神经网络模型。这些模型通过在海量的文本数据上进行预训练，学习天然语言的结构、用法和语义，从而能够执行包括文本生成、翻译、摘要和问答等任务。
心理健康大模型、LLM、The Big Model of Mental Health
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型的资料不多，这可能是比较齐的一份。
综述 | 多模态 LLM，大模型的未来
idol24的博客
01-31 381
本文来源 机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展...
七天入门大模型 ：大模型自动评估理论和实战
2201_75499313的博客
02-17 1379
目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。然后就可以拉你进群了。预置常用的测试基准，包括：MMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval、BBH、GeneralQA等。前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
七天入门大模型 ：大模型LLM 训练理论和实战最强总结！
2201_75499313的博客
02-17 1026
模型/训练/推理深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。y = ax + b该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。这个根据x求出y的过程就是模型的推理过程。在LLM中，x一般是一个句子，如“帮我计算23+20的结果”，y一般是：“等于43”。基于上面的方程，如果追加一个要求，希望a=1,b=1,x=3的时候y=10呢？这显然是不可能的，因为按照上面的式子，y应该是4。y=σ(ax+b)这个非线性变换可以理解为指数、对数、或者分段函数等。
综述｜如何利用LLM做多模态任务？
zenRRan的博客
05-16 640
作者｜胡安文（知乎同名）进NLP群—>加入NLP交流群大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。本文整理了近两年来基于LLM做vision...
从LLM到MLLM，多模态大规模语言模型KOSMOS-1赋予了语言模型看见世界的能力
zenRRan的博客
03-09 3483
来自：机器之心在 NLP 领域，大规模语言模型（LLM）已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本，就能使得基于 LLM 的接口完成一个任务。举例而言，对于摘要任务，我们能够将文档输入到语言模型，语言模型就可以生成摘要。尽管 LLM 在 NLP 任务中取得了成功的应用，但研究人员仍努力将其原生地用于图像和音频等多模态数据。作为智能的基本组成部分，多模态感知是实现...
从视觉感知到视觉理解，融合LLM的多模态大模型研究 |TeaTalk·Online演讲实录
CSDN云计算
08-25 566
8月24日，2023年TeaTalk· Online系列活动第5期——“【从视觉感知到视觉理解】-融合LLM的多模态大模型研究”主题分享线上直播活动成功举办。通过本次直播我们了解了目前融合LLM和视觉模型的方式还相对简单，多数是依赖已有的LLM和Visual encoder，并通过简单的线性层或者Q-former结构连接。此类模型的训练范式也基本为二阶段训练，着重于提升语言视觉对齐和多轮对话能力。...
复杂任务也不怕！上海AI Lab提出增强型LLM框架—ControlLLM，大模型可操控多模态工具
夕小瑶科技说
11-01 523
作者提出了 ControlLLM，这是一个多模态交互框架，可以准确地控制在各个领域中的工具使用，包括文本、图像、音频、视频等。它具有几个优点：能够准确处理涉及多模态输入和输出的复杂现实任务减少自然语言中的歧义问题的影响克服 LLM 在任务规划过程中的 token 限制工具箱易于扩展。然而，这项工作仍然存在一些局限性由于这项工作的目标是提高工具使用的准确性，即使解决方案可行，也不能保证工具的输出能够满足人类的期望。另一方面，由于自然语言中固有的歧义，很难确保所选的最佳解决方案与用户的目标一致。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 437
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
多模态LLM多到看不过来？先看这26个SOTA模型吧
weixin_42907150的博客
02-03 630
总参数量取决于 MM-LLM 中使用的核心 LLM 的规模。考虑到多模态研究位于多种模态的交叉领域，一种合乎逻辑的方法是充分利用现成的预训练单模态基础模型，尤其是强大的大型语言模型（LLM）。一开始，研究社区主要关注的是多模态内容理解和文本生成，此类模型包括 (Open) Flamingo、BLIP-2、Kosmos-1、LLaVA/LLaVA-1.5、MiniGPT-4、MultiModal-GPT、VideoChat、Video-LLaMA、IDEFICS、Fuyu-8B、Qwen-Audio。
从零训练一个多模态LLM：预训练+指令微调+对齐+融合多模态+链接外部系统
zenRRan的博客
07-22 1550
深度学习自然语言处理 分享知乎：逃脱鱼子酱进NLP群—>加入NLP交流群本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。一、准备阶段1 模型结构目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型...
大型语言模型 (LLM)全解读
FeelTouch Labs
01-23 6162
大型语言模型 是一种深度学习算法，可以执行各种自然语言处理 (NLP) 任务。大型语言模型底层使用多个转换器模型底层转换器是一组神经网络。大型语言模型是使用海量数据集进行训练的超大型深度学习模型。这也是它们能够识别、翻译、预测或生成文本或其他内容的强大基础所在。因此大型语言模型也称为神经网络 (NN)，是受人类大脑启发而开发出的计算系统。这些神经网络利用分层的节点网络工作，就像神经元一样。这些神经网络由具有自注意力功能的编码器和解码器组成。
【LLM、多模态】X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalitie
CRW__DREAM的博客
06-27 483
以ChatGPT/GPT-4为代表的大规模语言模型（LLM）最近很火，但是我们不知道GPT-4的模型架构以及训练策略，本篇文章结合多模态信息（X在本模型中表示图像、视频、语音）构建X-LLM模型，它使用X2L接口将多种模式（图像、语音、视频）转换为外语，并将其输入到大型语言模型（ChatGLM）中
介绍大模型LLM的流程
03-14
大模型LLM（Large Language Model）的介绍流程如下： 1. 定义任务：首先确定LLM要解决的任务或问题，例如文本生成、机器翻译、对话系统等。 2. 数据收集：收集与任务相关的大规模数据集，包括原始文本数据、标注数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值