【书生·浦语】大模型实战营——第三课笔记

最新推荐文章于 2024-05-03 09:00:00 发布
最新推荐文章于 2024-05-03 09:00:00 发布
阅读量957 收藏 25
点赞数 16
文章标签： 笔记 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50123831/article/details/135497589
版权

教程链接：https://github.com/InternLM/tutorial/blob/main/langchain/readme.md
本期学习内容为：基于 InternLM 和 LangChain 搭建你的知识库
学习平台：InternStudio
在我印象中，LangChain是一个与大模型交互的工具，可以让大模型与本地知识库结合，运用到相关知识。
现在开始我们的学习吧！

环境配置

命令行键入bash，进入conda环境
在这里插入图片描述
从指定目录克隆环境，随后使用conda active命令进入这个环境
在这里插入图片描述
随后更新pip，下载相关所需的包。
在这里插入图片描述

# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

模型下载

本地已经存了一个模型，我们直接把他放到指定目录即可。
在这里插入图片描述

配置LangChain相关环境

pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7

教程中还使用到了开源词向量模型Sentence Transformer。我查了一下，这个模型的输入是一系列文本，输出是一个固定长度的向量，浓缩了输入句子的语义。
因为这个模型是放在hugging face上的，所以我们需要下载相关的工具包，才能调用到这个模型。
在 /root/data 目录下新建python文件 download_hf.py，填入以下代码：
在这里插入图片描述
这里为了加快下载速度，设置下载源为hugging face的镜像网站。
然后在命令行中使用python download_hf.py命令运行python文件。
在这里插入图片描述

下载NLTK相关资源

在使用开源词向量模型构建开源词向量的时候，需要用到第三方库 nltk 的一些资源。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以手动将相关资源下载保存到服务器上。
首先在 root 目录下新建一个 nltk_data 目录：
在这里插入图片描述
接着进入 nltk_data，新建两个文件夹 taggers 和 tokenizers：
在这里插入图片描述
使用wget命令，下载相关资源，随后使用unzip命令解压缩
在这里插入图片描述
在这里插入图片描述
这里下载的速度很慢，需要耐心等待十几分钟
然后以相同的方式下载 Averaged Perceptron Tagger 资源，随后使用unzip命令解压缩
在这里插入图片描述
在这里插入图片描述

下载项目代码

在这里插入图片描述

知识库搭建

数据收集

选择由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源，包括：

  • OpenCompass：面向大模型评测的一站式平台
  • IMDeploy：涵盖了 LLM 任务的全套轻量化、部署和服务解决方案的高效推理工具箱
  • XTuner：轻量级微调大语言模型的工具库
  • InternLM-XComposer：浦语·灵笔，基于书生·浦语大语言模型研发的视觉-语言大模型
  • Lagent：一个轻量级、开源的基于大语言模型的智能体（agent）框架
  • InternLM：一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖
    将上述远程开源仓库 Clone 到本地，可以使用以下命令：
# 进入到数据库盘
cd /root/data
# clone 上述开源仓库
git clone https://gitee.com/open-compass/opencompass.git
git clone https://gitee.com/InternLM/lmdeploy.git
git clone https://gitee.com/InternLM/xtuner.git
git clone https://gitee.com/InternLM/InternLM-XComposer.git
git clone https://gitee.com/InternLM/lagent.git
git clone https://gitee.com/InternLM/InternLM.git

将上述仓库中的markdown、txt文件作为示例语料库。
于是下面编写了一个函数，找出符合条件的文件路径。

import os 
def get_files(dir_path):
    # args：dir_path，目标文件夹路径
    file_list = []
    for filepath, dirnames, filenames in os.walk(dir_path):
        # os.walk 函数将递归遍历指定文件夹
        for filename in filenames:
            # 通过后缀名判断文件类型是否满足要求
            if filename.endswith(".md"):
                # 如果满足要求，将其绝对路径加入到结果列表
                file_list.append(os.path.join(filepath, filename))
            elif filename.endswith(".txt"):
                file_list.append(os.path.join(filepath, filename))
    return file_list

加载数据

使用 LangChain 提供的 FileLoader 对象来加载目标文件，得到由目标文件解析出的纯文本内容。由于不同类型的文件需要对应不同的 FileLoader，需要判断目标文件类型，并针对性调用对应类型的 FileLoader，同时，调用 FileLoader 对象的 load 方法来得到加载之后的纯文本对象。
其中，UnstructureMarkdownLoader是处理markdown文件的，UnstructuredFileLoader是处理txt文件的。

from tqdm import tqdm
from langchain.document_loaders import UnstructuredFileLoader
from langchain.document_loaders import UnstructuredMarkdownLoader

def get_text(dir_path):
    # args：dir_path，目标文件夹路径
    # 首先调用上文定义的函数得到目标文件路径列表
    file_lst = get_files(dir_path)
    # docs 存放加载之后的纯文本对象
    docs = []
    # 遍历所有目标文件
    for one_file in tqdm(file_lst):
        file_type = one_file.split('.')[-1]
        if file_type == 'md':
            loader = UnstructuredMarkdownLoader(one_file)
        elif file_type == 'txt':
            loader = UnstructuredFileLoader(one_file)
        else:
            # 如果是不符合条件的文件，直接跳过
            continue
        docs.extend(loader.load())
    return docs

函数最后返回的docs是纯文本对象对应的列表

构建向量数据库

接下来使用LangChain 框架中构建向量数据库。由纯文本对象构建向量数据库，我们需要先对文本进行分块，接着对文本块进行向量化。
此处使用字符串递归分割器，选择分块大小为 500，块重叠长度为 150。调用split_documents方法进行文档分块。

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)

接着使用HuggingFaceEmbeddings接口来使用到Sentence Transformer模型：

from langchain.embeddings.huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")

使用当前最流行的向量数据库Chroma，将预料加载到向量数据库中。
from langchain.vectorstores import Chroma

# 定义持久化路径
persist_directory = 'data_base/vector_db/chroma'
# 加载数据库
vectordb = Chroma.from_documents(
    documents=split_docs,
    embedding=embeddings,
    persist_directory=persist_directory  # 允许我们将persist_directory目录保存到磁盘上
)
# 将加载的向量数据库持久化到磁盘上
vectordb.persist()

整体脚本

将上述流程编写的函数整合到一起。

# 首先导入所需第三方库
from langchain.document_loaders import UnstructuredFileLoader
from langchain.document_loaders import UnstructuredMarkdownLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from tqdm import tqdm
import os

# 获取文件路径函数
def get_files(dir_path):
    # args：dir_path，目标文件夹路径
    file_list = []
    for filepath, dirnames, filenames in os.walk(dir_path):
        # os.walk 函数将递归遍历指定文件夹
        for filename in filenames:
            # 通过后缀名判断文件类型是否满足要求
            if filename.endswith(".md"):
                # 如果满足要求，将其绝对路径加入到结果列表
                file_list.append(os.path.join(filepath, filename))
            elif filename.endswith(".txt"):
                file_list.append(os.path.join(filepath, filename))
    return file_list

# 加载文件函数
def get_text(dir_path):
    # args：dir_path，目标文件夹路径
    # 首先调用上文定义的函数得到目标文件路径列表
    file_lst = get_files(dir_path)
    # docs 存放加载之后的纯文本对象
    docs = []
    # 遍历所有目标文件
    for one_file in tqdm(file_lst):
        file_type = one_file.split('.')[-1]
        if file_type == 'md':
            loader = UnstructuredMarkdownLoader(one_file)
        elif file_type == 'txt':
            loader = UnstructuredFileLoader(one_file)
        else:
            # 如果是不符合条件的文件，直接跳过
            continue
        docs.extend(loader.load())
    return docs

# 目标文件夹
tar_dir = [
    "/root/data/InternLM",
    "/root/data/InternLM-XComposer",
    "/root/data/lagent",
    "/root/data/lmdeploy",
    "/root/data/opencompass",
    "/root/data/xtuner"
]

# 加载目标文件
docs = []
for dir_path in tar_dir:
    docs.extend(get_text(dir_path))

# 对文本进行分块
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=150)
split_docs = text_splitter.split_documents(docs)

# 加载开源词向量模型
embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")

# 构建向量数据库
# 定义持久化路径
persist_directory = 'data_base/vector_db/chroma'
# 加载数据库
vectordb = Chroma.from_documents(
    documents=split_docs,
    embedding=embeddings,
    persist_directory=persist_directory  # 允许我们将persist_directory目录保存到磁盘上
)
# 将加载的向量数据库持久化到磁盘上
vectordb.persist()

在/root/data目录下创建一个demo，将该代码文件放进去
在这里插入图片描述

InternLM接入LangChain

需要基于本地部署的 InternLM，继承 LangChain 的 LLM 类自定义一个 InternLM LLM 子类，从而实现将 InternLM 接入到 LangChain 框架中。完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
跟torch写网络要继承nn.Module，重载forward函数，这里要重载_call接口函数

from langchain.llms.base import LLM
from typing import Any, List, Optional
from langchain.callbacks.manager import CallbackManagerForLLMRun
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

class InternLM_LLM(LLM):
    # 基于本地 InternLM 自定义 LLM 类
    tokenizer : AutoTokenizer = None
    model: AutoModelForCausalLM = None

    def __init__(self, model_path :str):
        # model_path: InternLM 模型路径
        # 从本地初始化模型
        super().__init__()
        print("正在从本地加载模型...")
        self.tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
        self.model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).to(torch.bfloat16).cuda()
        self.model = self.model.eval()
        print("完成本地模型的加载")

    def _call(self, prompt : str, stop: Optional[List[str]] = None,
                run_manager: Optional[CallbackManagerForLLMRun] = None,
                **kwargs: Any):
        # 重写调用函数
        response, history = self.model.chat(self.tokenizer, prompt , history=[])
        return response
        
    @property
    def _llm_type(self) -> str:
        return "InternLM"

构造函数中，载入了词表和模型。_call函数就是调用了chat接口，进行了一次聊天。

构建检索问答链

LangChain 通过提供检索问答链对象来实现对于 RAG 全流程的封装。所谓检索问答链，即通过一个对象完成检索增强问答（即RAG）的全流程
调用一个 LangChain 提供的 RetrievalQA 对象，通过初始化时填入已构建的数据库和自定义 LLM 作为参数，来简便地完成检索增强问答的全流程，LangChain 会自动完成以下步骤：
1）基于用户提问进行检索
2）获取相关文档
3）拼接为合适的 Prompt
4）交给 LLM 问答

加载向量数据库

首先需要将上文构建的向量数据库导入进来。

from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
import os

# 定义 Embeddings
embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")

# 向量数据库持久化路径
persist_directory = 'data_base/vector_db/chroma'

# 加载数据库
vectordb = Chroma(
    persist_directory=persist_directory, 
    embedding_function=embeddings
)

这里把指定路径的embedding模型导入进来，将指定路径的向量数据库耶导入进来。
通过Chroma接口接收embedding模型和向量数据库，构造向量数据库对象。该对象可以针对用户的 query 进行语义向量检索，得到与用户提问相关的知识片段。

实例化自定义 LLM 与 Prompt Template

构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实是一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。我们可以基于 LangChain 的 Template 基类来实例化这样一个 Template 对象：

from langchain.prompts import PromptTemplate

# 我们所构造的 Prompt 模板
template = """使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答案。尽量使答案简明扼要。总是在回答的最后说“谢谢你的提问！”。
{context}
问题: {question}
有用的回答:"""

# 调用 LangChain 的方法来实例化一个 Template 对象，该对象包含了 context 和 question 两个变量，在实际调用时，这两个变量会被检索到的文档片段和用户提问填充
QA_CHAIN_PROMPT = PromptTemplate(input_variables=["context","question"],template=template)

构建检索问答链

from langchain.chains import RetrievalQA

qa_chain = RetrievalQA.from_chain_type(llm,retriever=vectordb.as_retriever(),return_source_documents=True,chain_type_kwargs={"prompt":QA_CHAIN_PROMPT})

from_chain_type接口输入llm，向量数据库，Prompt Template

部署web demo

基于 Gradio 框架将其部署到 Web 网页，从而搭建一个小型 Demo，便于测试与使用。
将上文的代码内容封装为一个返回构建的检索问答链对象的函数，并在启动 Gradio 的第一时间调用该函数得到检索问答链对象，后续直接使用该对象进行问答对话，从而避免重复加载模型：

from langchain.vectorstores import Chroma
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
import os
from LLM import InternLM_LLM
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA

def load_chain():
    # 加载问答链
    # 定义 Embeddings
    embeddings = HuggingFaceEmbeddings(model_name="/root/data/model/sentence-transformer")

    # 向量数据库持久化路径
    persist_directory = 'data_base/vector_db/chroma'

    # 加载数据库
    vectordb = Chroma(
        persist_directory=persist_directory,  # 允许我们将persist_directory目录保存到磁盘上
        embedding_function=embeddings
    )

    # 加载自定义 LLM
    llm = InternLM_LLM(model_path = "/root/data/model/Shanghai_AI_Laboratory/internlm-chat-7b")

    # 定义一个 Prompt Template
    template = """使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答
    案。尽量使答案简明扼要。总是在回答的最后说“谢谢你的提问！”。
    {context}
    问题: {question}
    有用的回答:"""

    QA_CHAIN_PROMPT = PromptTemplate(input_variables=["context","question"],template=template)

    # 运行 chain
    qa_chain = RetrievalQA.from_chain_type(llm,retriever=vectordb.as_retriever(),return_source_documents=True,chain_type_kwargs={"prompt":QA_CHAIN_PROMPT})
    
    return qa_chain

定义一个类，该类负责加载并存储检索问答链，并响应 Web 界面里调用检索问答链进行回答的动作：

class Model_center():
    """
    存储检索问答链的对象 
    """
    def __init__(self):
        # 构造函数，加载检索问答链
        self.chain = load_chain()

    def qa_chain_self_answer(self, question: str, chat_history: list = []):
        """
        调用问答链进行回答
        """
        if question == None or len(question) < 1:
            return "", chat_history
        try:
            chat_history.append(
                (question, self.chain({"query": question})["result"]))
            # 将问答结果直接附加到问答历史中，Gradio 会将其展示出来
            return "", chat_history
        except Exception as e:
            return e, chat_history

将上面load_chain和model_center的代码合在一起，放到一个代码文件里，这里我叫center.py

然后用gradio框架写界面：

import gradio as gr
from center import Model_center

# 实例化核心功能对象
model_center = Model_center()
# 创建一个 Web 界面
block = gr.Blocks()
with block as demo:
    with gr.Row(equal_height=True):   
        with gr.Column(scale=15):
            # 展示的页面标题
            gr.Markdown("""<h1><center>InternLM</center></h1>
                <center>书生浦语</center>
                """)

    with gr.Row():
        with gr.Column(scale=4):
            # 创建一个聊天机器人对象
            chatbot = gr.Chatbot(height=450, show_copy_button=True)
            # 创建一个文本框组件，用于输入 prompt。
            msg = gr.Textbox(label="Prompt/问题")

            with gr.Row():
                # 创建提交按钮。
                db_wo_his_btn = gr.Button("Chat")
            with gr.Row():
                # 创建一个清除按钮，用于清除聊天机器人组件的内容。
                clear = gr.ClearButton(
                    components=[chatbot], value="Clear console")
                
        # 设置按钮的点击事件。当点击时，调用上面定义的 qa_chain_self_answer 函数，并传入用户的消息和聊天历史记录，然后更新文本框和聊天机器人组件。
        db_wo_his_btn.click(model_center.qa_chain_self_answer, inputs=[
                            msg, chatbot], outputs=[msg, chatbot])

    gr.Markdown("""提醒：<br>
    1. 初始化数据库时间可能较长，请耐心等待。
    2. 使用中如果出现异常，将会在文本输入框进行展示，请不要惊慌。 <br>
    """)
gr.close_all()
# 直接启动
demo.launch()

上面这个gradio的代码封装到run_gradio.py中

随后python run_gradio.py启动即可。（初次启动比较慢）
在这里插入图片描述

端口映射到本地端口

由于我之前已经配置好SHH key了，就不过多演示了。
打开cmd，把这行命令敲进去（7860是gradio演示的端口，请一定要将33090换成你使用的开发机的端口）

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p 33090

然后打开本地浏览器，把127.0.0.1:7860输入到地址栏，就可以看到应用演示了。
在这里插入图片描述
在这里插入图片描述
一些对话案例：
在这里插入图片描述
在这里插入图片描述
常识性问题还行
在这里插入图片描述
但是下面这个问题没答对
在这里插入图片描述
甚至ChatGPT都出错了。
在这里插入图片描述

Horace_01
关注
  • 16
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【LangChain+ChatGLM】用好Python自然语言工具包-- 实例“基于本地知识库的自动问答”
weixin_46481662的博客
04-23 5927
Tokenize是指将一段文本分割成单独的词语或符号序列的过程。在自然语言处理中，文本预处理通常包括将原始文本数据转换为可供分析的结构化数据。分词是这个过程中的一个重要步骤，它可以将一段文本分割成有意义的单元，例如单词、标点符号、数字、缩略词等等。分词技术可以基于不同的规则和算法实现，如空格、标点符号、停用词、正则表达式、最大匹配法等。分词的准确性和效率对于后续的自然语言处理任务（例如词性标注、命名实体识别、文本分类等）的效果有很大影响，因此它是自然语言处理中一个非常重要的步骤。
LangChain入门(三)-对超长文本进行总结
Good Luck
05-03 7549
GitHub - liaokongVFX/LangChain-Chinese-Getting-Started-Guide: LangChain 的中文入门教程LangChain 的中文入门教程. Contribute to liaokongVFX/LangChain-Chinese-Getting-Started-Guide development by creating an account on GitHub.
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
最新发布
2301_81888214的博客
05-03 742
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
从PDF和图像中提取文本，以供大型语言模型使用
Warmer_Sweeter
11-26 2438
想法大型语言模型已经席卷了互联网，导致更多的人没有认真关注使用这些模型最重要的部分：高质量的数据！本文旨在提供一些有效从任何类型文档中提取文本的技术。Python库本文专注于Pytesseract、easyOCR、PyPDF2和LangChain库。实验数据是一个单页PDF文件，可在以下链接获取：https://github.com/keitazoumana/Experimentation-Dat...
langchain-chatglm上传word文档异常处理
aizaiyishunjian的博客
06-20 3549
最近LLM模型非常火，Langchain这个工具更有意思，让应用开发更加简单。于是就想着部署一下langchain-chatglm，体验一下大模型挂载知识库的畅快。部署过程耗时长，主要是环境安装，但总体还是很顺利的。但是一个word文档上传无法加载的问题耗费了好长时间处理。
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
热门推荐
结构之法 算法之道
07-05 9万+
本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码，不只是把它当做一个工具使用，因为对工具的原理更了解，则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课 第二课作业（更新）
04-04
书生浦语大模型实战课 第二课作业（更新）
书生浦语大模型实战课（第二期） 第二课作业
04-04
书生浦语大模型实战课（第二期） 第二课作业
书生·浦语大模型第二课
03-04
书生·浦语大模型第二课
使用transformers过程中出现的bug
MK422的博客
10-16 2303
将transformer的版本换到以下范围, 4.15.0
LangChain 中文入门教程
查理王的博客
06-19 3614
众所周知 OpenAI 的 API 无法联网的，所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某个 Youtube 视频进行问答等等的功能肯定是无法实现的。LangChain。这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。LangChain 是一个用于开发由语言模型驱动的应用程序的框架。可以将 LLM 模型与外部数据源进行连接允许与 LLM 模型进行交互LLM 模型：Large Language Model，大型语言模型。
大模型应用开发探索-基与gpt,glm的单个文档对话
Dar_Alpha的博客
09-18 333
使用langchain和大模型进行单文档对话
LangChain结合通义千问的自建知识库_langchain 通义千问
2401_84166702的博客
04-09 745
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
使用LangChain框架加载与解析txt,markdown,pdf,jpg格式文档
qq_45257495的博客
01-03 4470
使用LangChain库进行文档加载，对于txt,md,pdf格式的文档，都可以用LangChain类加载，UnstructuredFileLoader（txt文件读取）、UnstructuredFileLoader（word文件读取）、MarkdownTextSplitter（markdown文件读取）、UnstructuredPDFLoader（PDF文件读取），对于jpg格式的文档，我这里提供了一种思路。
LangChain + ChatGLM 实现本地知识库问答
AI研究院
06-13 6408
本文使用LangChain+ChatGLM来实现一个简单的基于本地知识库的问答系统，可以在完全不使用openai提供的api来完成本地知识库问答系统的搭建，如果有需要做本地私有化知识库问答系统的，可以参考此方案。
查询本地知识库之llama2+langchain
Harry的博客
11-12 1776
1. python package 包2. nltk的punkt手动安装安装nltk的punkt模块（因为下载速度很慢，所以这里我们手动下载）先在root目录下，建一个文件夹：/root/nltk_data/tokenizers到这个网址：http://www.nltk.org/nltk_data/，找到punkt的包。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值