LLM之RAG实战（三十七）| 高级RAG从理论到LlamaIndex实现

最新推荐文章于 2024-06-04 11:06:23 发布
最新推荐文章于 2024-06-04 11:06:23 发布
阅读量1.7k 收藏 14
点赞数 9
分类专栏： RAG 笔记 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wshzd/article/details/137231314
版权
笔记 同时被 2 个专栏收录
174 篇文章 83 订阅
订阅专栏
RAG
37 篇文章 40 订阅
订阅专栏

     论文《Retrieval-Augmented Generation for Large Language Models: A Survey》对检索增强生成（RAG）总结了如下三种方式：

  • Naive RAG
  • 高级RAG
  • 模块化RAG

推荐阅读该论文的详解：

LLM之RAG理论（二）|  RAG综述论文详解

      高级RAG旨在解决Naive RAG的局限性。本文把这些技术，可分为预检索（pre-retrieval）、检索（retrieval）和检索后（post-retrieval）优化。

       在下半部分中，首先使用Llamaindex实现一个简单的RAG管道，然后通过选择以下高级RAG技术将其增强为高级RAG管道：

  • 检索前优化：语句窗口检索
  • 检索优化：混合搜索
  • 检索后优化：重新排序

一、高级RAG

高级RAG与Naive RAG对比，如下图所示：

1.1 预检索优化

       预检索优化侧重于数据索引优化和查询优化。数据索引优化技术旨在提高存储数据的检索效率，例如：

  • 滑动窗口使用块之间的重叠，是最简单的技术之一。
  • 增强数据粒度应用数据清理技术，如删除无关信息、确认事实准确性、更新过时信息等。
  • 添加元数据，可以过滤如日期、目的或章节等信息。
  • 优化索引结构涉及到对数据进行索引的不同策略，例如调整块大小或使用多索引策略。我们将在本文中实现的一种技术是句子窗口检索，它使用单个嵌入句子进行检索，并在推理时用更大的文本窗口替换它们。

       此外，预检索技术并不局限于数据索引，还可以涵盖推理时的技术，如查询路由、查询重写和查询扩展。

1.2 检索优化

      检索阶段旨在识别最相关的上下文。通常，检索是基于向量搜索的，向量搜索计算查询和索引数据之间的语义相似性。因此，大多数检索优化技术都围绕着嵌入模型[1]：

  • 微调嵌入模型可根据特定领域的上下文定制嵌入模型，尤其是对于具有不断演变或罕见术语的领域。例如，BAAI/bge-small-en是一种可以微调的高性能嵌入模型（请参阅微调指南[1]）。
  • 动态嵌入会根据上下文使用的单词动态给出每个单词的向量，而静态嵌入则为每个单词使用一个向量。例如，OpenAI的embeddings—da-02是一个复杂的动态嵌入模型，可以捕捉上下文理解。

除了矢量搜索之外，还有其他检索技术，例如混合搜索，是指将矢量搜索与基于关键字的搜索相结合。如果您的检索需要精确的关键字匹配，那么混合搜索是非常合适的。

1.3 检索后优化

       有时候需要对检索到的上下文进行额外的处理，比如检索到的内容超出上下文窗口限制或引入了噪声之类的问题。下面介绍一些检索后处理技术：

  • 提示压缩通过删除不相关的上下文并突出显示重要上下文来减少整个提示长度。
  • 重新排序使用机器学习模型来重新计算检索到的上下文的相关性得分。

二、代码实现

2.1 安装所需的包

pip install llama-index

     在本文中，我们将使用LlamaIndex v0.10。如果您是从较旧的LlamaIndex版本升级，则需要运行以下命令才能正确安装和运行LlamaIndex：

pip uninstall llama-indexpip install llama-index --upgrade --no-cache-dir --force-reinstall

       LlamaIndex提供了一种将矢量嵌入存储在本地JSON文件中以进行持久存储的功能，这对快速构建想法的原型非常有用。然而，在生产环境中，我们将使用矢量数据库进行持久存储。

       由于除了存储矢量嵌入之外，我们还需要元数据存储和混合搜索功能，因此我们将使用支持这些功能的开源矢量数据库Weaviate（v3.26.2）。

pip install weaviate-client llama-index-vector-stores-weaviate

2.2 API密钥

       我们将使用Weaviate嵌入式，您可以在不注册API密钥的情况下免费使用。然而，本教程使用了来自OpenAI的嵌入模型和LLM，为此您需要一个OpenAI API密钥。要获得一个，您需要一个OpenAI帐户，然后在API密钥下“创建新密钥”。

        接下来，在根目录中创建一个本地.env文件，并在其中定义API密钥：

OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

         之后，使用以下代码加载API密钥：

# !pip install python-dotenvimport osfrom dotenv import load_dotenv,find_dotenv​load_dotenv(find_dotenv())

2.3 用LlamaIndex实现Naive RAG

      本节讨论如何使用LlamaIndex实现一个简单的RAG管道，完整的Naive RAG管道可以参考这个Jupyter笔记本[2]。对于使用LangChain实现Naive RAG管道，可以参考[3]。

步骤1：定义嵌入模型和LLM

      首先，可以在全局设置对象中定义嵌入模型和LLM。这样做意味着不必再次在代码中显式指定模型。

嵌入模型：用于为文档块和查询生成矢量嵌入。

LLM：用于根据用户查询和相关上下文生成答案。

from llama_index.embeddings.openai import OpenAIEmbeddingfrom llama_index.llms.openai import OpenAIfrom llama_index.core.settings import Settings​Settings.llm = OpenAI(model="gpt-3.5-turbo", temperature=0.1)Settings.embed_model = OpenAIEmbedding()

步骤2：加载数据

     接下来，将在根目录中创建一个名为data的本地目录，并从LlamaIndex GitHub存储库（MIT许可证）[4]下载一些示例数据。

!mkdir -p 'data'!wget '<https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/paul_graham/paul_graham_essay.txt>' -O 'data/paul_graham_essay.txt'

       之后，可以加载数据以进行进一步处理：

from llama_index.core import SimpleDirectoryReader​# Load datadocuments = SimpleDirectoryReader(        input_files=["./data/paul_graham_essay.txt"]).load_data()

步骤3：将文档分块到节点中

       由于整个文档太大，无法放入LLM的上下文窗口，因此需要将其划分为较小的文本块，这些文本块在LlamaIndex中称为Nodes。使用SimpleNodeParser将加载的文档解析为块大小为1024的节点。

from llama_index.core.node_parser import SimpleNodeParser​node_parser = SimpleNodeParser.from_defaults(chunk_size=1024)​# Extract nodes from documentsnodes = node_parser.get_nodes_from_documents(documents)

步骤4：建立索引

       接下来，需要构建一个索引，将所有外部知识存储在开源矢量数据库Weaviate中。

     首先，需要连接到Weaviate实例。在这种情况下，我们使用WeaviateEmbedded，它允许您在没有API密钥的情况下免费在笔记本中进行实验。对于生产就绪的解决方案，建议自己部署Weaviate，例如通过Docker或使用托管服务。

import weaviate​# Connect to your Weaviate instanceclient = weaviate.Client(    embedded_options=weaviate.embedded.EmbeddedOptions(), )

      接下来，将从Weaviate客户端构建一个VectorStoreIndex，用于存储数据并与之交互。

from llama_index.core import VectorStoreIndex, StorageContextfrom llama_index.vector_stores.weaviate import WeaviateVectorStore​index_name = "MyExternalContext"​# Construct vector storevector_store = WeaviateVectorStore(    weaviate_client = client,     index_name = index_name)​# Set up the storage for the embeddingsstorage_context = StorageContext.from_defaults(vector_store=vector_store)​# Setup the index# build VectorStoreIndex that takes care of chunking documents# and encoding chunks to embeddings for future retrievalindex = VectorStoreIndex(    nodes,    storage_context = storage_context,)

步骤5：设置查询引擎

         最后，将把索引设置为查询引擎。

# The QueryEngine class is equipped with the generator# and facilitates the retrieval and generation stepsquery_engine = index.as_query_engine()

步骤6：运行一个简单的RAG查询

         现在，可以对数据运行一个简单的RAG查询，如下所示：

# Run your naive RAG queryresponse = query_engine.query(    "What happened at Interleaf?")

2.4 用LlamaIndex实现高级RAG

接下来，我们如下高级RAG技术来提高Naive RAG管道效果：

  • 预检索优化：语句窗口检索
  • 检索优化：混合搜索
  • 检索后优化：重新排序

a）索引优化示例：语句窗口检索

       对于语句窗口检索技术，需要进行两个调整：首先，必须调整数据的存储和后处理方式，使用PensioneWindowNodeParser替换SimpleNodeParser。

from llama_index.core.node_parser import SentenceWindowNodeParser​# create the sentence window node parser w/ default settingsnode_parser = SentenceWindowNodeParser.from_defaults(    window_size=3,    window_metadata_key="window",    original_text_metadata_key="original_text",)

PensioneWindowNodeParser主要实现如下两个步骤：

  1. 它将文档分隔为单个句子，这些句子将被嵌入；

  2. 对于每个句子，它都会创建一个上下文窗口。如果指定window_size=3，则生成的窗口将有三个句子长，包括嵌入句子的前一个句子和后面一个句子。该窗口将作为元数据存储。

       在检索过程中，将返回与查询最匹配的句子。检索后，您需要通过定义MetadataReplacementPostProcessor并在node_postprocessors列表中使用它，将句子替换为元数据中的整个窗口。

from llama_index.core.postprocessor import MetadataReplacementPostProcessor​# The target key defaults to `window` to match the node_parser's defaultpostproc = MetadataReplacementPostProcessor(    target_metadata_key="window")​...​query_engine = index.as_query_engine(     node_postprocessors = [postproc],)

b）检索优化示例：混合搜索

      如果底层矢量数据库支持混合搜索查询，那么在LlamaIndex中实现混合搜索就像对query_engine进行两个参数更改一样容易。alpha参数指定矢量搜索和基于关键字的搜索之间的权重，其中alpha=0表示基于关键字的检索，alpha=1表示纯矢量搜索。

query_engine = index.as_query_engine(    ...,    vector_store_query_mode="hybrid",     alpha=0.5,    ...)

c）检索后优化示例：重新排序

在高级RAG管道中添加重新排序只需三个简单步骤：

  1. 首先，定义一个重新排序模型。在这里，我们使用Huggingface中的BAAI/bge-reranker-base；

  2. 在查询引擎中，将reranker模型添加到node_postprocessors列表中；

  3. 增加查询引擎中的similarity_top_k以检索更多的上下文段落，重新排序后可以减少到top_n。

# !pip install torch sentence-transformersfrom llama_index.core.postprocessor import SentenceTransformerRerank​# Define reranker modelrerank = SentenceTransformerRerank(    top_n = 2,     model = "BAAI/bge-reranker-base")​...​# Add reranker to query enginequery_engine = index.as_query_engine(    similarity_top_k = 6,    ...,                node_postprocessors = [rerank],    ...,)

三、总结

       本文介绍了高级RAG的概念，其中包括一组技术来解决原始RAG范式的局限性。在概述了高级RAG技术（可分为预检索、检索和后检索技术）之后，本文使用LlamaIndex进行编排，实现了一个简单而高级的RAG管道。

      RAG管道组件是OpenAI的语言模型、托管在Hugging Face上的BAAI的重新排序模型和Weaviate矢量数据库。

       我们在Python中使用LlamaIndex实现了以下技术选择：

  • 检索前优化：语句窗口检索
  • 检索优化：混合搜索
  • 检索后优化：重新排序

您可以在此处找到包含完整端到端管道的Jupyter笔记本：

LlamaIndex中的Naive RAG[2]

LlamaIndex中的高级RAG[5]

参考文献：

[1] https://betterprogramming.pub/fine-tuning-your-embedding-model-to-maximize-relevance-retrieval-in-rag-pipeline-2ea3fa231149

[2] https://github.com/weaviate/recipes/blob/main/integrations/llamaindex/retrieval-augmented-generation/naive_rag.ipynb

[3] https://medium.com/towards-data-science/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2

[4] https://github.com/run-llama/llama_index

[5] https://github.com/weaviate/recipes/blob/main/integrations/llamaindex/retrieval-augmented-generation/advanced_rag.ipynb

wshzd
关注
  • 9
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
LLM之RAG实战（三十九）| 高级RAG技术全面解析（附代码）
wshzd的博客
06-05 1181
在检索步骤中，用户的查询也被转换为嵌入，此嵌入用于在向量数据库中搜索最相关的文本数据。最后，在生成步骤中，查询会使用先前检索到的相关文档进行增强，大型语言模型会使用此增强的提示来生成对用户问题的答案。下一步，它使用 Faiss 执行向量搜索，Faiss 返回前五个最接近的文档的索引，这些索引用于根据文档的排名创建反向分数文档（即，最接近的文档得分最高）。上面提供的伪代码概述了使用机器学习根据相关性对文档进行重新排序的方法，具体来说，是通过预测用户根据过去的交互找到相关文档的可能性。
LLM之RAG理论（八）| 提高RAG性能的9种技术
wshzd的博客
01-25 1315
想象一下，搜索数百万电子商务产品的矢量数据库，查询“Adidas ref XYZ sneakers white”，最热门的结果包括白色阿迪达斯运动鞋，但没有与确切的XYZ参考相匹配。研究表明，检索到的上下文中的噪声会对RAG性能产生不利影响，更准确地说，是LLM生成的答案。然而，有时，用户以几个单词或短句的形式制定的输入查询与索引文档之间会出现错位，索引文档通常以长句甚至段落的形式编写。当用户与RAG交互时，用户的查询格式不一定是很好的，也不能完全表达与向量库中的文档有效匹配的意图。
大模型入门：一文带你速通RAG、知识库和LLM！
huang9604的博客
06-04 922
检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将企业外部知识整合到生成过程中，增强了大语言模型（LLM）的性能。
大模型 Advanced-RAG(高级检索增强生成)：从理论到 LlamaIndex 实战！
2301_78285120的博客
02-25 1439
首先，您可以在全局设置对象中定义一个嵌入模型和LLM。这样做意味着您不必再次在代码中明确指定模型。嵌入模型：用于为文档块和查询生成向量嵌入。LLM：用于根据用户查询和相关上下文生成答案。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 1万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
RAG(检索增强生成)在LLM(大型语言模型)中的应用
fudaihb的博客
01-24 2198
在当今信息时代，大型语言模型（LLM）的崛起标志着自然语言处理领域的一次重大进步。这些模型不仅是深度学习的杰出代表，而且在多个领域中取得了显著的成功。本文将聚焦于检索增强生成（RAG）技术在大型语言模型中的应用，深入探讨其原理、应用以及与传统生成模型的差异
LLM之RAG理论（四）| RAG高级数据索引技术
wshzd的博客
01-02 1511
例如，当解决有关SageMaker处理的特定方面的问题时，系统可以准确地识别与该特定部分相关的信息并对其进行优先级排序，避免与SageMaker模型构建无意中混淆，后者可能有共同之处，但需要不同的考虑。最终实现通用人工智能（AGI）的期望是由对人工智能初创公司的重大投资、最新进步背后的创造性思维以及更强大但更实惠的芯片的可用性推动的，尽管AGI完全融入我们的个人生活可能需要一段时间。较大的块可以捕获更多的上下文，但由于它们产生的噪声，处理它们需要更长的时间和更多的钱。
LLM之RAG理论（三）| 高级RAG技术全面汇总
wshzd的博客
12-27 2052
让我们看一看多文档代理方案（https://docs.llamaindex.ai/en/stable/examples/agent/multi_document_agents.html）——一个非常复杂的设置，包括在每个文档上初始化一个代理（OpenAIAgent（https://docs.llamaindex.ai/en/stable/examples/agent/openai_agent.html）），能够进行文档摘要和经典的QA机制，以及一个顶级代理，负责将查询路由到文档代理并进行最终答案合成。
LLM之RAG实战（二十二）| LlamaIndex高级检索（一）构建完整基本RAG框架（包括RAG评估）
wshzd的博客
02-05 2126
解决这一问题的一种方法是让较小的块与父块（本例中为原始的100字块）相关，这样LLM将有更多的上下文来作为答案的基础，而不是试图生成自己的幻觉信息。换言之，10个单词的每个较小组块将与100个单词的较大组块相关，并且当给定的较小组块（10个单词组块）被识别为与回答用户问题相关时，父组块（100个单词组组块）将被检索并被发送到LLM。在传统的RAG应用程序中，我们使用相同的数据块来执行搜索检索，并将相同的块传递给LLM，以使用它来合成或生成答案。可以注意到的一件事是，文档在一个块中，让我们将其拆分为多个块。
大模型LLM，RAG实战.zip
03-14
标题中的“大模型LLM，RAG实战”指的是在自然语言处理领域中，大型语言模型（Large Language Models, LLM）的应用，特别是Relevance-Aware Generation（RAG）模型的实际操作。RAG是一种结合了检索式和生成式模型优势...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
总结来说，这个项目实战旨在教大家如何在Windows环境中利用TensorRT-LLM部署RAG聊天机器人，结合检索增强和高性能推理，实现更加智能和高效的对话体验。通过这个实践，开发者不仅能掌握RAG模型的原理和应用，还能...
JavaScript_独立的应用程序，方便RAG与本地LLM.zip
05-20
这个压缩包“JavaScript_独立的应用程序，方便RAG与本地LLM.zip”似乎包含了一些关于使用JavaScript构建独立应用程序的资源，特别是针对RAG（Red-Amber-Green）系统和本地LLM（Local Learning Module）的实现。...
基于大模型LLM和RAG的智能客服 Chat As A Service(CAAS),社交IM+企业IM+在线客服+AI助手
最新发布
06-20
开发者可以利用这些资源，结合大模型LLM和RAG的技术，构建或定制自己的智能客服平台，实现社交IM、企业IM、在线客服和AI助手等功能，以适应各种业务场景的需求。这样的开源解决方案为企业提供了灵活性和成本效益，...
LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍
人工智能曾小健
09-21 5404
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。
LLM与RAG的初识-1
m0_53374676的博客
02-23 1082
检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了信息检索和文本生成技术的自然语言处理（NLP）方法。这种方法利用大型语言模型（LLM）的生成能力，并结合了检索系统从大量数据中检索相关信息的能力。RAG的目标是生成既准确又具有信息量的文本，同时确保生成的文本与给定的查询或任务紧密相关。通过检索与输入查询最相关的信息片段，然后使用这些片段来指导、优化和丰富生成过程，RAG提高了生成文本的准确性和相关性。
LLM 回答更加准确的秘密：为检索增强生成（RAG）添加引用源
ZILLIZ
08-17 534
当前，LLM 的最大问题就是缺乏最新的知识和特定领域的知识。(https://zilliz.com/use-cases/llm-retrieval-augmented-generation) 引用源是一种通用的解决方案，可以为 LLM 应用的响应添加引用源，从而为响应提供更多上下文信息。不过，随着越来越多的文档、用例等信息被注入应用中，越来越多开发者意识到信息来源的重要性，它可以确保信息准确性，使得大模型的回答更加真实。在本示例中，我们从百科中获取了不同城市的数据，并进行查询，最终获得带引用的响应。
使用 RAG 和 LLM 与您的数据库对话
iCloudEnd的博客
10-13 491
检索增强生成 (RAG) 涉及从外部数据库获取当前或上下文相关信息，并在请求大型语言模型 (LLM) 生成响应时将其呈现给大型语言模型 (LLM) 的过程。这种方法有效地解决了生成不正确或误导性信息的问题。您能够存储专有业务数据或全局知识，并使您的应用程序能够在响应生成阶段为 LLM 检索此数据。
LLM之RAG理论（六）| 高级RAG指南和技巧
wshzd的博客
01-22 1018
在基本的RAG场景中，大致有如下步骤：首先将文本划分为多个块，使用Transformer Encoder模型将这些块嵌入到向量中，将这些向量存储到向量数据库并建立索引，查询会检索向量数据库中相关的上下文，这些上下文和查询一起生成最终的LLM提示，并引导LLM合成响应。基本RAG需要从外部知识数据库中获取文档，然后，将这些文档与用户的查询一起被传输到LLM，用于生成响应。最基本、最简单的RAG系统有时候会检索不到相关的上下文，因此需要一些更高级的方法来增强RAG系统，比如：查询转换、重排序等。
prompt+rag
11-17
根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。 下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值