（2024，LLaVA-NeXT-Interleave，Bench，多模态，M4-Instruct，多图像/帧/视角/区域场景）

最新推荐文章于 2025-03-31 16:29:10 发布
最新推荐文章于 2025-03-31 16:29:10 发布
阅读量996 收藏 10
点赞数 21
分类专栏： 论文笔记 文章标签： 深度学习 视觉语言模型 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44681809/article/details/145071436
版权

LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

目录

LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

0. 摘要

2. 相关工作

2.1 交错图像-文本训练数据

2.2 交错式 LMMs

2.3 交错基准测试（Benchmark）

3. 交错多图像任务与数据

3.1 任务概览

3.2 M4-Instruct

4. 交错视觉指令微调

5. 实验

6. 新兴能力

7. 结论

0. 摘要

视觉指令微调（Visual instruction tuning）在增强大型多模态模型（Large Multimodal Models，LMMs）能力方面取得了显著进展。然而，现有的开源 LMM 主要关注单图像任务，对于多图像场景的应用探索较少。此外，以往的 LMM 研究通常分别针对不同场景展开研究，这导致无法实现新兴能力的跨场景泛化。

为此，我们提出了 LLaVA-NeXT-Interleave，该模型同时处理多图像、多帧（视频）、多视角（3D）和多区域（单图像）场景的任务。

  • 为了实现这些能力，我们将交错数据格式视为通用模板，并编译了 M4-Instruct 数据集，包含 117.76 万条样本，涵盖 4 个主要领域的 14 项任务和 41 个数据集。
  • 同时，我们精心设计了 LLaVA-Interleave Bench，用于全面评估 LMMs 在多图像任务中的性能。
  • 通过广泛的实验，LLaVA-NeXT-Interleave 在多图像、视频和 3D 基准测试中取得了领先的结果，同时保持了单图像任务的性能。
  • 此外，我们的模型还展现了一些新兴能力，例如跨不同设置和模态传递任务的能力。

2. 相关工作

2.1 交错图像-文本训练数据

作为一种更通用的格式，交错图像-文本数据为 LMMs（大规模多模态模型）赋予了两种独特的能力：多模态上下文学习（in-context learning，ICL）能力和在真实世界多图像应用场景中的指令遵循（instruction-following）能力。

多模态上下文学习能力（ICL）。上下文场景会在提示中交错若干图像-文本示例作为任务演示，使 LMM 在推理阶段以小样本方式适应新任务。Flamingo [1] 是第一个展示这一能力的模型，因此被视为多模态领域的 “GPT-3 moment”。通常，多模态 ICL 能力是在对网页规模的原始交错图像-文本序列进行预训练后涌现的。

在开源社区中：

  • MMC4 [68] 引入了一个公开的包含 1.012 亿条交错数据的数据集，涵盖日常话题。
  • OBELICS [22] 提供了一个过滤后的数据集，包括 1.41 亿条交错网页。
  • Kosmos-1 [18] 构建了一个包含 7100 万条多模态语料的数据集，其中包含任意交错的文档。
  • 为了显式启用 ICL 能力，MIMIC-IT [25] 在指令微调阶段提出了一条自动化流程，创建了 280 万条多模态样本。

多图像场景能力。另一类多图像场景则旨在应对涉及多张图像的多样化真实世界应用场景。

  • VPG-C [27] 使用 ChatGPT 收集了 4 个新数据集。
  • Mantis-Instruct [19] 整合了 11 个现有交错数据集并创建了 4 个新数据集。
  • M4-Instruct [19] 整合了 41 个现有交错数据集并创建了 6 个新数据集，涵盖的场景多样性远超 Mantis-Instruct。

2.2 交错式 LMMs

  • 作为代表性闭源 LMM，GPT-4V [42] 和 Gemini [12] 都支持真实世界中的多图像应用场景，并表现出领先性能。
  • 借助各种公开数据集，研究社区已开发出具备显著多图像能力的开源LMMs。
  • ICL 性能通常被用来评估多模态预训练，这一方法已被多个知名 LMM 采用，如 OpenFlamingo [2]、IDEFICS 系列 [22, 23]、VILA [33]、MM1 [41]和 Emu2 [51]。
  • Otter [25] 以 OpenFlamingo 为基础，在 MIMIC-IT 数据集上进行微调，通过指令微调进一步提升 ICL 能力。
  • 相比之下，尽管 Mantis [19] 探索了相关方向，但在 LMM 中利用指令微调实现各种真实世界多图像应用的研究仍然较少。
  • 我们提出的 LLaVA-NeXT-Interleave 不仅通过改进实验结果拓展了多图像场景的范围，还实现了一个模型在多种场景中的泛化，例如视频、3D 和单图像。跨场景训练带来了新兴能力，使模型能够在新的多图像上下文中实现零样本任务组合。 

2.3 交错基准测试（Benchmark）

为了评估 LMM 在交错多图像任务中的能力，已有多个高质量基准测试覆盖了各种场景。

ICL 基准测试。ICL 基准测试 [20, 49] 为 LMM 提供从小样本到多样本的评估方案，全面评估其交错能力。

更具挑战性的多图像场景。以往的工作主要关注特定领域的评估，包括：

  • NLVR2 [50]：用于日常生活场景的视觉问答（VQA）。
  • MMMU [61]：针对大学水平问题求解。
  • MathVerse-mv [65] 和 SciVerse-mv [13]：评估数学和科学推理能力。
  • BLINK [10]：挑战 LMM 在多图像处理中的表现。
  • Mantis-Eval [19]：专注于多图像理解。

DEMON 基准。为进一步评估多图像场景中的 LMM 性能，DEMON [27] 是第一个集合数十个数据集（共 47.7 万条样本）的基准测试。凭借数据量大且多样性高的特点，DEMON 为多图像研究奠定了良好基础。然而，它也继承了现有数据集中大量低质量样本的问题。

LLaVA-Interleave Bench。为优化评估质量，本文提出的 LLaVA-Interleave Bench 精心筛选了高质量样本，涵盖特定（合成、数学、低级）和通用（日常、真实场景、文本丰富）多图像场景。该基准测试包含 9 个新策划的数据集和 13 个现有数据集，按照领域划分为：

  • 域内评估：12.9 K样本，评估在训练中 “见过” 的场景。
  • 域外评估：4.1K 样本，评估 LMM 在新场景中的泛化能力。

当前其他多图像评估基准包括 Muir-Bench [54] 和 ReMI [21]。 

3. 交错多图像任务与数据

3.1 任务概览

我们观察到，不同的计算机视觉场景通常可以用交错的多图像格式进行统一表示，例如视频、3D和单图像数据。因此，为了赋予 LLaVA-Interleave 多样化的能力，如图 2 所示，我们采用交错多图像格式统一以下四类任务的数据输入：

多图像场景。包括视觉指令，这些指令结合了交错的视觉-语言输入与多张图像。此设置涵盖了训练数据中的 12 个具有挑战性的真实世界任务，例如找茬、视觉故事讲述、图像编辑指令生成、交错多图像对话、多图像拼图、低级多图像评估等。

多帧场景。将视频作为输入数据，并将其采样为多个帧，以保留多图像序列中的时间视觉线索。我们主要关注 2 个任务：视频详细描述生成和视频 VQA（视觉问答）。

多视角场景。通过从不同视角获取的多视角图像描绘 3D 环境，其中视觉对应性和视差可以指示 3D 世界中的空间信息。对于 3D 感知，我们包括 2 个任务：embodied VQA（对话与规划）和 3D 场景 VQA（描述生成与定位）。

多区域场景。表示传统的单图像任务。在 LLaVA-NeXT [36] 设计的 “任意分辨率” 功能下，我们将高分辨率图像划分为多个低分辨率区域，以实现高效的视觉编码，并与我们的交错多图像格式兼容。

3.2 M4-Instruct

为了赋予全面的多图像能力，我们精心编制了一个综合训练数据集，命名为 M4-Instruct，包括 117.76 万条实例，广泛覆盖多图像、多帧和多视角场景的 14 项任务及 41 个数据集，并结合多区域数据以保留基础单图像性能。图 3 展示了前三类场景的任务示例，图 4 提供了 M4-Instruct 的数据概览，详细的数据统计见表 15。

多图像数据。大部分数据集来自以往公开研究成果，并经过严格转换为我们的统一格式，配以任务特定指令，其中部分灵感来自 DEMON [27] 和 Mantis [19]。此外，我们利用 GPT-4V [43] 为 3 个新任务注释数据，以实现更广泛的能力，包括真实差异、合成差异和推文任务。

视频数据。我们从 LLaVA-Hound [63] 中收集了 25.5 万条数据子集，其中包含 24 万条视频 VQA 和 1.5 万条视频详细描述。同时，加入了 NExT-QA [57] 和 STAR [55] 数据集，进一步扩展视频训练数据。

3D数据。我们广泛收集了来自 nuScenes QA [6]、ALFRED [48]、ScanQA [3] 和 3D-LLM [16] 的数据，覆盖了室外和室内场景。

单图像数据。我们从 LLaVA-NeXT [24] 的阶段 2 微调数据中随机抽取了 40%，以保留单图像处理能力。

为了全面评估交错多图像性能，我们提出了 LLaVA-Interleave Bench，包括 13 项具有挑战性的任务，总计 1.7 万条实例。图 3 展示了基准测试的数据概览，详细的数据统计见表 16。具体而言，我们将多图像任务分为两类：

  • 域内评估。包含训练中 “见过” 的任务，旨在验证模型在熟悉场景中的性能。我们采用 5 项新策划的多图像任务对应训练数据集，以及 2 个现有基准测试（QBench [56] 和 NLVR2 [50]），共计 12,900 条实例。

  • 域外评估。涉及训练场景中未出现的任务，旨在揭示 LMM 的泛化能力。我们为多图像数学（MathVerse [65]）和科学（SciVerse [13]）理解构建了 2 项新任务，并利用 3 个现有基准（Mantis-Eval [19]、BLINK [10] 和 MMMU [60]），共计 4,100 条实例。

4. 交错视觉指令微调

在本节中，我们介绍 LLaVA-NeXT-Interleave 进行交错视觉指令微调的几项关键技术。对于架构设计，我们遵循 LLaVA-NeXT [24] 的通用框架，包括：视觉编码器 [62]，中间投影器，强大的 LLM [4]。在此基础上，我们采用以下三项技术来提升多图像任务的性能：

技术 1：从单图像模型继续训练。交错多图像任务可视为单图像场景的扩展，其格式更加灵活且推理更具挑战性。因此，为更好地利用预训练的单图像能力，我们以现成的 LLaVA-NeXT-image  [24] 模型作为基础模型。该模型已经历了两个阶段的训练：

  • 第一阶段：图像-文本描述的预训练
  • 第二阶段：单图像微调

在此基础上，我们利用 M4-Instruct 数据集进行交错多图像指令微调。

技术2：训练中混合交错数据格式。在交错多图像训练中，我们采用两种格式来安排图像 token 的位置：

  • 前置格式：将所有图像 token 放置在提示的前部，同时在文本中保留占位符 〈image〉。
  • 交错格式：将图像 token 保留在其原始位置，即 〈image〉 的位置。

通过这种方式，LLaVA-NeXT-Interleave 支持更灵活的推理模式，对不同的输入格式表现出更强的鲁棒性。

技术 3：结合不同数据场景提升单任务性能。大多数现有研究仅使用单一数据源进行监督微调，例如 Mantis [19] 的多图像微调和 LLaMA-VID [31] 的多帧微调。相较之下，我们利用 M4-Instruct 同时进行四种不同任务（多图像、多帧、多视角、多区域）的指令微调。在统一的交错格式下，不同的数据场景可以提供互补的语义信息和指令遵循能力，从而提升模型在单一任务中的表现。

5. 实验

6. 新兴能力

本节通过示例展示我们模型的一些新兴能力。新兴能力指模型在推理过程中表现出的、训练时未明确训练过的能力。我们主要从以下三个方面展示：

从单图像到多图像的任务迁移：在单图像模型中，具备理解单图像并指出有趣部分的能力 [35]。此能力未包含在我们的多图像训练中。如表 8 所示，模型能够分析多张图像中的有趣部分。这种新任务可能是由单图像能力与多图像 VQA 训练相结合而涌现的。

从图像到视频的任务迁移：在 M4-Instruct 训练中，仅包含多图像推文生成任务。模型能够直接从视频生成推文，如表 9 所示。这种新任务可能由多图像推文生成和视频 VQA 任务的数据共同作用涌现。

实际应用场景：如表 10、11 和 12 所示，模型在三种未明确训练过的实际场景中表现出色：多图像绘画风格识别，PPT 摘要与问答，多文档 VQA。这些例子表明模型具有广泛实际应用的潜力，展现了卓越的泛化能力。

7. 结论

总之，我们的研究重点是展示 LLaVA-NeXT-Interleave 在统一和增强大型多模态模型（LMMs）多种视觉任务能力方面的变革性潜力：

  • 整合多场景：通过利用交错数据格式，有效融合多图像、视频、3D以及单图像场景，提供处理多样挑战的统一方法。
  • 全面数据与基准：引入的 M4-Instruct 数据集和 LLaVA-Interleave Bench 为 LMM 的训练和评估提供了坚实基础，确保在多个领域表现出高性能。
  • 实验验证：大规模实验表明，LLaVA-NeXT-Interleave 不仅在多图像任务中设立了新的业界标杆，同时在单图像任务中也保持了卓越表现。
  • 新兴能力：模型表现出跨任务迁移等令人振奋的能力，展现了更广泛应用的潜力。

这项工作为多模态人工智能和复杂视觉理解任务的未来发展开辟了新道路，树立了新的行业标准。

论文地址：https://arxiv.org/abs/2407.07895

项目页面：https://llava-vl.github.io/blog/2024-06-16-llava-next-interleave/

进 Q 交流群：922230617

LLM - 开源视觉多模态 LLaVA-CoT(o1) 深度推理模型 测试与源码 教程
AGI
12-07 1583
LLaVA-CoT，是 思维链(Chain-of-Thought, CoT) 的视觉语言模型，通过自主的多阶段推理，提升系统化和结构化推理能力，实现深度思考，包含总结摘要(SUMMARY)、视觉解释(CAPTION)、逻辑推理(REASONING)、结论生成(CONCLUSION) 等 4 个阶段，提出 推理时阶段级束搜索(Inference-Time Stage-Level Beam Search) 方法，以实现有效的推理时扩展，结果表明在多模态推理基准测试中，超越基础模型和其他更大、甚至是闭源的模型。
LLaVA-OneVision: Easy Visual Task Transfer
读书郎
08-20 1079
新的训练策略，先在但图上进行训练，在扩展到多图和视频。并在最后发现了处理新任务的能力。
探索未来智能助手：LLaVA-NeXT 开源项目揭秘
gitblog_00013的博客
06-21 702
探索未来智能助手：LLaVA-NeXT 开源项目揭秘 去发现同类优质开源项目:https://gitcode.com/ 在人工智能的前沿，我们迎来了LLaVA-NeXT——一个强大的多模态模型框架，它将视觉理解与语言处理融为一体，为AI助手设定了新的标准。这个项目不仅提供了创新的技术解决方案，而且通过开源的形式，推动了整个社区的进步。 项目介绍 LLaVA-NeXT是基于大规模数据训练的多模态模型...
字节携港大南大升级 LLaVA-NeXT：借 LLaMA-3 和 Qwen-1.5 脱胎换骨，轻松追平 GPT-4V
热门推荐
AI科技大本营
05-10 1万+
文| 王启隆出品 | 《新程序员》编辑部2023 年，威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员共同开发的 LLaVA 首次亮相，彼时它被视为一个端到端训练的大型多模态模型，展现了在视觉与语言融合领域的潜力。今年 1 月 30 日，LLaVA 的后续版本 LLaVA-NeXT 推出，它利用了当时最强的 LLM——Yi-34B，进一步增强了多模态理解、OCR（光学字符识别）和世界知...
LLaVA系列③——微调训练LLaVA并进行推理（附详细代码+讲解）
最新发布
Wang_Dou_Dou_的博客
03-31 1097
整体文章脉络如下：下载数据集、数据集的读取、辅助工具函数、模型的训练6 轻量数据集的微调训练、加载训练好的模型来推理。
多模态基础模型：一文读懂LLAVA系列模型
AIGCmagic的博客
08-25 8398
LLAVA系列多模态大模型以其强大的表现力和广泛的应用前景，吸引了众多科研人员和企业关注。本文将为您带来LLAVA多模态大模型系列的深度解读，从原始论文中抽丝剥茧，带您领略这一前沿技术的魅力。
大模型——LLaVA和LLaMA的介绍和区别
Williamcsj的博客
09-13 5721
大模型——LLaVA和LLaMA的介绍和区别
LLaVa的概述
pumpkin84514的博客
06-21 2687
LLaVa (Large Language and Vision Assistant) 是一种先进的多模态人工智能模型，能够同时处理和理解文本和图像。这意味着 LLaVa 可以在同一时间分析来自语言和视觉的输入信息，做出综合判断和生成响应。LLaVa 结合了先进的图像处理和自然语言生成技术，能够理解和生成多模态内容。这种综合能力使得 LLaVa 在许多实际应用中具有强大的潜力，能够提供更智能和丰富的用户体验。
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
读书郎
08-21 1705
将不同任务的数据格式统一为interleave的图像-文本格式，使得模型能够处理不同场景中的多种任务，如多图像任务、视频任务和3D任务。构造了新的的训练数据集M4-Instruct，包含1177.6k个样本，覆盖了14个任务和41个数据集，支持多图像、视频、3D和单图像任务。LLAVA-NeXT-Interleave在多图像、视频和3D任务中取得了领先的性能，同时保持了单图像任务的表现。通过联合训练多个任务，该模型展示了在不同设置和模式之间任务转移的新能力。
图像与视频高效多模态模型LLaVA-Mini的技术原理及其优势分析
01-20
内容概要：本文介绍了名为LLaVA-Mini的新型大型多模态模型（LMM），该模型通过将视觉输入压缩为单一视觉标记，从而显著提高了计算效率并降低了推理延迟。实验结果显示，在各种图像和视频基准测试中，尽管LLaVA-Mini...
多模态大模型: 盘点&Highlights part1.5——从LLaVA-NeXT到LLaVA-OneVision
baidu_25854831的博客
08-25 963
前言Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模...
Visual Instruction Tuning: 用LLaVA近似多模态GPT-4
Paper weekly
04-19 2868
©Paperweekly 原创 · 作者 |Chunyuan Li使用 GPT-4 进行视觉指令学习！Visual Instruction Tuning with GPT-4!▲Generated by GLIGEN (https://gligen.github.io/): A cute lava llama and glasses我们分享了 LLaVA (Language-and-Visio...
LLaVA 简介：一种多模式 AI 模型
RA AI衍生者训练营的博客
08-21 3294
LLaVA 是一个端到端训练的大型多模态模型，旨在根据视觉输入（图像）和文本指令理解和生成内容。它结合了视觉编码器和语言模型的功能来处理和响应多模态输入。图 1：LLaVA 工作原理的示例。
探索未来：LLaVA——大型语言与视觉助手
gitblog_00448的博客
08-08 1143
???? 探索未来：LLaVA——大型语言与视觉助手 项目地址:https://gitcode.com/gh_mirrors/ll/LLaVA ???? 项目介绍 LLaVA（Large Language and Vision Assistant）是一款革命性的多模态模型，旨在通过视觉指令调整，实现与GPT-4级别能力相媲美的大型语言和视觉模型。该项目由Haotian Liu、Chunyuan Li、Yuhe...
详解多模态大模型：LLaVA+LLaVA1.5+LLaVA-Med
zenRRan的博客
02-04 1万+
作者：凯恩博，香港城市大学计算机科学博士编辑：青稞AILLaVA repo：https://github.com/haotian-liu/LLaVA/ LLaVA 1.0：Visual Instruction Tuning LLaVA 1.5：Improved Baselines with Visual Instruction Tuning一句话优点：1、极大简化了VLM的训练方式：Pre-tra...
LLaVA：分析图像和文本数据的开源模型
安静的软件工程师
05-03 1779
LLaVA：分析图像和文本数据的开源模型
LLaVA：GPT-4V(ision) 的新开源替代品
代码讲故事
02-04 1973
LLaVA：GPT-4V(ision) 的新开源替代品。
2024 SOTA多模态大模型架构设计的最佳实践
lqfarmer的博客
07-04 1655
我们会发现，最新流行的MLLM架构大多采用类LLaVA的ViT+MLP+LLM范式。得益于LLaVA的精简设计、数据和训练高效性、更强的baseline性能，LLaVA架构建立起了良好的应用生态。国内也涌现出了高质量的MLLM，InternVL拉近了开源模型与GPT-4V的差距，具备4K高分辨率处理能力，而MiniCPM-V实现了高效端侧部署，让小模型也能抗衡顶尖的闭源模型。最新的Cambrian-1则是鼓励研究者跳出当前MLLM的思维定式，不断探索视觉表征更多的可能性。通往AGI有多条路径，而原生的多模态
IsoBench:多模态基础模型性能的基准测试与优化
人工智能讲师分享前沿技术
06-01 1035
随着多模态基础模型的快速发展，如何准确评估这些模型在不同输入模态下的性能成为了一个重要课题。本文提出了IsoBench，一个基准数据集，旨在通过提供多种同构（isomorphic）表示形式的问题，来测试和评估多模态基础模型在数学、科学、算法和游戏等领域的表现。通过IsoBench发现，尽管人类倾向于偏好视觉表示，但当前的多模态模型在处理文本输入时的性能普遍优于图像输入。
llava-next胡言乱语
01-22
### 处理 llava-next 模型输出不合理的情况 当遇到像 llava-next 这样的模型生成的内容不合理时，可以从多个方面来解决这个问题。一方面是从数据质量的角度出发，在处理输入到模型的数据时，应该确保图像清晰、格式正确，并且与任务高度相关[^4]。另一方面，考虑到模型本身的局限性，ImageNet-D 对于当前视觉模型和 VQA 模型确实存在挑战，它揭示了一些 failure cases，这可能也是导致输出不合理的因素之一[^1]。 为了更有效地反馈这种问题，建议记录下具体的案例以及预期的结果，以便分析是否存在特定模式下的错误倾向。此外，可以通过调整超参数或采用不同的预处理方式尝试改善输出效果。如果是在资源有限的情况下运行该模型，则可以考虑利用模型剪枝和量化的方法来优化性能表现[^2]。 最后，随着技术的发展和个人技能的增长，有能力深入研究并改进这些大型多模态模型的人才也变得越来越重要。掌握如何微调现有模型以适应特定应用场景是一项非常有价值的能力[^3]。 ```python def report_unreasonable_output(model, input_data, expected_output): """ 记录模型输出不合理情况 参数: model (object): 使用中的模型实例. input_data (any type): 输入给模型的数据. expected_output (any type): 预期得到的正确输出. 返回: None """ with open('unreasonable_outputs.log', 'a') as file: log_entry = f""" Model: {type(model).__name__} Input Data: {input_data} Expected Output: {expected_output} Actual Output: {model.predict(input_data)} ------------------------------ """ file.write(log_entry) # 假设有一个名为llava_next_model的对象代表llava-next模型， # 并有相应的测试用例test_input和期望输出expected_result。 report_unreasonable_output(llava_next_model, test_input, expected_result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值