LLM评估有哪些指标? ROUGE 分数、BLEU、困惑度、MRR、BERTScore

最新推荐文章于 2024-08-25 09:30:17 发布
最新推荐文章于 2024-08-25 09:30:17 发布
阅读量883 收藏 20
点赞数 17
分类专栏： 模型指标 文章标签： 人工智能 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stephen147/article/details/141069020
版权

目录

  1. 困惑度 Perplexity
    1. 如何计算？
  2. BLEU分数
    1. 步骤 1：计算 n-gram 精度。
    2. 第 2 步：简洁惩罚（BP）
  3. ROUGE 分数
    1. ROUGE-N
    2. ROUGE-L
    3. ROUGE-S
    4. ROUGE-SU
    5. ROUGE-W
  4. MRR平均倒数排名
  5. BERT 分数
      1. 标记化和嵌入生成
      1. 余弦相似度计算
      1. 最佳匹配策略
      1. 准确率、召回率、F1 分数计算

LLM评估有哪些指标? ROUGE 分数、BLEU、困惑度、MRR、BERTScore 数学和示例

困惑度 Perplexity

不要将它与 ChatGPT 的竞争对手困惑度 (Perplexity) 混淆，但它是用于评估语言模型预测答案中单词序列的能力的关键指标。此外，它不需要 Ground Truth！

困惑度衡量模型在预测序列中的下一个单词时的“困惑”或“混乱”程度。
困惑度越低，意味着混乱程度越低，这意味着它能够更好地预测下一个单词。
相反，困惑度越高，表示混乱程度越高，这意味着模型很难正确预测下一个单词。

所以，

如果Perplexity=1，则模型以 100% 的准确率完美地预测该序列。
Perplexity=10可以解释为模型在序列中的每个点上平均有 10 个同样可能的选项。因此非常困惑。

如何计算？

exp(- (1/N) * Σ log(P(w_i | w_1, w_2, …, w_i-1)))
P(w_i | w_1, w_2, …, w_i-1) = 给定前面的单词 (w_1, w_2, …, w_i-1) 作为上下文，语言模型分配给序列中第 i 个单词 (w_i) 的条件概率。
N =长度

假设 LLM 预测某些提示为“猫坐在垫子上。”。

**步骤 1：**根据前面的单词计算每个单词的概率。对于此示例，我们假设以下值：

P(“The”) = 0.5
P(“cat”|“The”) = 0.4
P(“sat”|“The cat”) = 0.3
P(“on”|“The cat sat”) = 0.4
P(“the”|“The cat sat”) = 0.5
P(“mat”|“The cat sat on”) = 0.6

**第 2 步：**应用对数并将这些概率加在一起

log(P(“The”)) +
log(P(“cat”|”The”)) +
log(P(“sat”|”The cat”)) +
log(P(“on”|”The cat sat”)) +
log(P(“the”|”The cat sat”)) + log(P(“the”|”The cat sat on”)) +
log(P(“mat”|”The cat sat on”)) = abc

**步骤 3：**对上述对数总和取平均值（除以总词数），并应用指数

exp(-abc/6) = 2.275 （暂时假设）

因此，Perplexity=2.275 意味着模型需要在约 2.275 个单词中进行选择来选择序列中的下一个单词。

***注意：*要计算困惑度，您需要掌握预测概率。因此，在使用 OpenAI 或 Anthropic 等无法获取概率分数的 API 时，困惑度就毫无用处了。

对于 HuggingFace 加载的模型，您可以使用评估包，使用下面的代码来更改模型的名称。

BLEU分数

另一个非常流行的指标是 BLEU（Bilingual Evaluation Understudy，双语评估替补），它评估输出与 Ground Truth 的相似程度（因此与 Perplexity 不同，需要 Ground Truth），主要用于机器翻译问题。

BLEU 分数 = BP * exp(∑(weightᵢ* log(pᵢ)))

这里

*BP=简洁惩罚 *Brevity Penalty
weightᵢ = 分配给每个 n-gram 的准确率的权重
pᵢ = 每个 n-gram 的准确率

让我们通过以下示例来理解数学和每个术语：

假设，

参考句子：“猫在垫子上。”
候选句子：“猫坐在垫子上。”

步骤 1：计算 n-gram 精度。

假设 n=2

因此，我们需要计算 1-gram 和 2-gram 的精度。如果 n=3，我们将计算 1-gram、2-gram 和 3-gram

1-gram 精度

参考：猫在垫子上
生成： The cat sat on the mat
匹配：The cat on the mat (5)
=匹配数/生成的单元总数= 5 / 6

2-gram 精度

参考：猫，猫在，在，垫子上
***生成：*猫，猫坐，坐在，垫子上
匹配：垫子 上的 猫 (3)
=匹配数/生成的二元组总数= 3 / 5 = 0.6

第 2 步：简洁惩罚（BP）

简洁性惩罚用于惩罚简短的候选句子。

如果候选长度≥参考长度，则BP = 1，
BP = ***exp(1 — 参考长度/候选长度) *如果候选长度 < 参考长度。

在这种情况下，参考句子和候选句子都有 6 个单词，因此：BP = 1

现在，我们已经拥有计算 BLEU 所需的一切，即 BP 项和 n-gram 精度值。每个 n-gram 的权重通常相等，因此假设权重ᵢ=0.5（权重总和应等于 1）

BLEU = 1exp(0.5log(5/6) + 0.5log(0.6))=0.86***

ROUGE 分数

与 BLEU 分数类似，ROUGE 分数也是一个需要 Ground Truth 的指标，并且也有多个版本。此外，它不是一个单一的分数，而是计算召回率、准确率和 F1，这被称为 ROUGE-Recall、ROUGE-Precision 和 ROUGE-F1。一些常用的 ROUGE 分数版本是

ROUGE-N：测量生成文本和参考文本之间的 n-gram（如二元语法、三元语法）的重叠。
ROUGE-L：关注单词的最长公共子序列（longest common subsequence, LCS），突出序列相似性。
ROUGE-W：根据 LCS 的长度对其进行加权，为较长的匹配给予更多信任。
ROUGE-S：查看跳过二元词组，即保持其顺序但其间可能有间隙的单词对。
ROUGE-SU：查看跳过二元词组，即保持其顺序但中间可能有间隙的单词对。

让我们快速了解每个变体背后的数学原理

假设，

**ground truth：**猫坐在垫子上
**预测：**猫躺在垫子上
注意：我们将对所有 ROUGE 解释使用相同的示例

ROUGE-N

ROUGE-1（单元词unigrams）：

  • 参考中的单字：{The, cat, sat, on, the, mat}
  • 生成的单元词组：{The, cat, lay, on, the, mat}
  • 重叠：{The、cat、on、the、mat}
  • 精度：5/6（匹配的生成单元词组/生成的单元词组总数）
  • 召回率：5/6（匹配的参考单元数/总参考单元数）
  • F1 分数：5/6（因为准确率和召回率相等）

ROUGE-2 (二元语法bigrams)：

  • 参考中的二元词组：{猫，猫坐，坐在，在，垫子上}
  • 生成的二元词组：{The cat, cat lay, lay on, on the, the mat}
  • 重叠：{猫，在，垫子上}
  • 准确度：3/5
  • 召回率：3/5
  • F1 评分：3/5

ROUGE-L

对于 ROUGE-L，我们需要计算最长公共子序列，即在两个序列中以相同顺序出现但不一定连续的序列。它用于通过识别两个序列共同的最长子序列来衡量两个序列之间的相似性。

  • 最长公共子序列 (LCS)：“垫子上的猫”
  • 精度：5/6（LCS 长度/生成文本长度）
  • 召回率：5/6（LCS长度/参考文本长度）
  • F1 评分：5/6

ROUGE-S

ROUGE-S 测量生成文本和参考文本之间的跳过二元词组的重叠。

跳跃二元词组(Skip-bigrams)是指在两个文本中以相同顺序出现的单词对，但它们不必是连续的。这允许更灵活地衡量文本相似度。

  • 参考中的跳过二元词组：{The cat, The sat, The on, The the, The mat, cat sat, cat on, cat the, cat mat, sat on, sat the, sat mat, on the, on mat, the mat}
  • 生成的跳过二元组：{The cat, The lay, The on, The the, The mat, cat lay, cat on, cat the, cat mat, lay on, lay the, lay mat, on the, on mat, the mat}
  • 重叠：{猫，在，在，垫子上，猫在，猫，猫垫，在，在垫子上，垫子}
  • 准确度：10/15
  • 召回率：10/15
  • F1 评分：10/15

ROUGE-SU

ROUGE-SU 是 ROUGE-S 的扩展，其评估中同时包括跳过二元词组和一元词组（单个单词）。这有助于在没有匹配的单词对的情况下给予一些分数，而 ROUGE-S 本身可能会漏掉这些单词对。

ROUGE-S 关注生成文本和参考文本中出现的单词对。如果不存在这样的单词对，ROUGE-S 会给出零分，即使句子有些相似。

例子：

  • 参考句（S1）：“警察杀死了枪手。”
  • 生成的句子（S5）：“枪手杀死警察”

在这种情况下，S5 与 S1 完全相反，因此没有匹配的单词对，ROUGE-S 会将其评分为 0。

对于 ROUGE-SU，除了二元语法之外，甚至单元语法匹配也会被考虑，因此在上述情况下 ROUGE-SU 不会为 0。

ROUGE-W

ROUGE-W（ROUGE 加权最长公共子序列）改进了基本的 LCS 方法，为连续单词匹配赋予更多权重，奖励按顺序更接近匹配的序列。这个想法很简单：为 LCS 的较长子部分分配更多权重

***基本 LCS 的问题：***基本 LCS 测量在两个文本中以相同顺序出现的最长单词序列的长度，但不区分连续匹配和分散匹配。

例子：

  • 参考文本(X)：[ABCDEFG]
  • 生成的文本 1（Y1）：[ABCDHIK]
  • 生成的文本 2（Y2）：[AHBKCID]

Y1 和 Y2 具有相同的 LCS 长度 4（ABCD），但是 Y1 应该被认为更好，因为它具有连续匹配。

**ROUGE-W 通过为较长的连续匹配分配更高的权重来改善这一点。**在这里，我们需要计算加权 LCS。让我们了解如何计算 WLCS：

参考文本（X）：[ABCDEFG]
生成的文本 1（Y1）：[ABCDHIK]
生成的文本 2（Y2）：[AHBKCID]

对于Y1：

比赛：ABCD（连续4场比赛）
加权 LCS：f(4)

对于Y2：

匹配：ABCD（不连续，每个字母都是独立的，因此此子序列中有 4 个长度为 1 的子部分）
加权 LCS：f(1)+f(1)+f(1)+f(1)

其中f()是权重分配函数。

**注意：**选择一个函数，使得 f(x+y)>f(x)+f(y)

因此，如果 f(x)=x²，
Y1加权LCS=4²=16
Y2加权LCS=1²+1²+1²+1²=4
ROUGE-W 召回： f − 1 ( W L C S ( X , Y 1 ) ) / l e n ( X ) f⁻¹ (WLCS(X,Y1))/len(X) f−1(WLCS(X,Y1))/len(X)
ROUGE-W 精度： f − 1 ( W L C S ( X , Y 1 ) ) / l e n ( Y 1 ) f⁻¹ (WLCS(X,Y1))/len(Y1) f−1(WLCS(X,Y1))/len(Y1)

其中 f⁻¹=f() 的逆，即 √x

MRR平均倒数排名

最简单的方法是平均倒数排名 (Mean Reciprocal Rank, MRR) 指标，它检查 LLM 将正确答案放在列表顶部的能力。因此，它是分类或检索任务的良好指标。

考虑一个简单的例子：

  1. 你问一个问题： “法国的首都是哪里？”
  2. LLM 答案（排序）：

第一名：伦敦
第二名：巴黎
第三名：柏林

正确答案“巴黎”排在第二位。

计算此答案的倒数等级 (RR)：

  • 倒数排名 = 1/正确答案的位置
  • 因此，RR = 1/2 = 0.5

如果你对几个问题都这样做，那么你可以计算每个问题的 RR，然后求出平均值。这个平均值就是 MRR。如果助手经常在最前面的位置得到正确答案，那么 MRR 就会很高，接近 1。如果很少得到正确答案，那么 MRR 就会较低，接近 0。

BERT 分数

BERTScore 使用预先训练的 BERT 模型来评估生成的文本与参考文本相比的质量。它使用 BERT 嵌入来测量两个文本之间的语义相似度。

1. 标记化和嵌入生成

***Tokenization：*将生成的文本和参考文本都 token 化为子词单元（比如 BERT 中的 WordPieces），并转换成 BERT 模型可以理解的 token ID。
***BERT 嵌入：*两个文本的标记 ID 都被输入到预先训练的 BERT 模型中。BERT 将每个标记转换为高维向量（嵌入），该向量根据周围的标记捕获其上下文含义。

2. 余弦相似度计算

***余弦相似度：*获得生成文本和参考文本的嵌入后，计算每对嵌入之间的余弦相似度（逐个标记）。
***相似度矩阵：*创建一个相似度矩阵，其中每个元素表示生成文本和参考文本中相应标记之间的余弦相似度。

3. 最佳匹配策略

最佳匹配： BERTScore 使用贪婪算法来找到生成文本中的标记与参考文本中的标记之间的最佳匹配。目标是最大化整体相似度得分。
***最佳匹配：*该算法确保生成文本中的每个标记与参考文本中的最多一个标记匹配，反之亦然。

4. 准确率、召回率、F1 分数计算

***BERT-Precision：*生成文本中每个标记与参考文本中最接近的标记的平均相似度得分。
***BERT-Recall：*参考文本中每个标记与生成文本中最接近的标记的平均相似度得分。
***BERT-F1 分数：*准确率和召回率的调和平均值。

让我们用一个例子来说明这一点：

参考文本： “猫坐在垫子上。”
生成的文本： “一只猫坐在垫子上。”

**步骤 1：**标记化和嵌入生成

  • 参考标记： [“The”，“cat”，“sat”，“on”，“the”，“mat”，“。”]
  • 生成的标记： [“A”，“cat”，“was”，“sitting”，“on”，“the”，“mat”，“。”]

**步骤 2：**使用 BERT 模型对这些 token 进行嵌入生成

**步骤 3：**使用每个 token 嵌入之间的余弦相似度创建相似度矩阵。类似于下图

**步骤 4：**从参考文本和生成的文本中获取最佳匹配对。假设你得到

（“A”，“The”），（“cat”，“cat”），（“was”，“sat”），（“sitting”，“sat”），（“on”，“on”），（“the”，“the”），（“mat”，“mat”）

**步骤5：**计算BERTScore：

  • **BERT-Precision：**生成文本中标记的平均相似度。
  • **BERT-Recall：**参考文本中标记的平均相似度。
  • BERT-F1： 2 * (准确率 * 召回率) / (准确率 + 召回率)
seetimee
关注
  • 17
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM评估标准有哪些？
weixin_39402231的博客
10-06 530
为了有效衡量和优化LLM的性能和泛化能力，并揭示其优势和局限，建立合理的LLM评价基准具有重要意义。现阶段，主流的LLM评估方法可划分为3类。
LLM的评价指标
samoyan的博客,记录技术成长~
12-29 2316
模型的准确性是通过比较模型的预测结果和实际结果来衡量的，通常使用精确度（precision）、召回率（recall）、F1分数等指标。SuperGLUE是继GLUE之后的一个更为复杂和挑战性的基准测试，它引入了更难的任务和更复杂的数据集，用以推动语言理解模型的发展。泛化能力是衡量模型在未见数据上表现的能力。评价一个模型的可解释性涉及到理解模型的决策是如何做出的，以及模型的预测是否为人类所能理解和接受。最后，大型语言模型的评价还应包括其伦理和社会影响，如模型的使用是否可能造成社会分裂、增加误导信息的传播等。
LLM基础知识学习笔记 | 解锁LLM
小学生
07-21 275
Hey小伙伴们！最近AI界超火的大模型ChatGPT、LLaMA是不是让你眼花缭乱？今天我们就来扒一扒这些大语言模型（LLM）背后的基础知识，让你也能成为朋友圈里的AI小达人！
LLM评估：通过7大指标监测并评估大语言模型的表现
Baihai_IDP的博客
12-29 1357
如今，大模型及相关的生成式人工智能技术已经成为科技产业变革的新焦点，但大模型存在一些风险（容易产生偏见内容、虚假信息），其行为难以预测和控制。因此，如何持续监控和评估大模型行为以降低这些风险成为当下产学研各界的研究难点。 本文作者通过分析 ChatGPT 在 35 天内对一组固定 prompt 的回答，探索了 7 组指标来评估 LLM 的行为变化。
LLM(大语言模型)常用评测指标-BLEU
qq_36485259的博客
03-11 1800
BLEU 是一种广泛用于自然语言处理领域，特别是在机器翻译评估中的评分方法。它通过比较机器翻译输出和一个或多个人工翻译的参考翻译来计算分数，以此来评估翻译的质量。
万字解读LLM大模型评估
所寫即所思｜一个阿里质量人对测试的所感所悟。
06-19 896
我在之前的一篇文章中对摘要度量进行了深入的讨论，因此我强烈建议大家阅读一下。与原文内容完全一致。包含了原文中的重要信息。使用QAG，我们可以计算出事实对齐度和包含度评分，从而计算出最终的摘要评分。在DeepEval中，我们将两个中间评分中的最小值作为最终的摘要评分。""""""坦白地说，我对“摘要度量”这一概念的阐述还不够充分，因为我不想让这篇文章变得更长。但是对于那些对此感兴趣的人，我强烈建议阅读这篇文章，以了解更多关于使用QAG构建自己的摘要度量方法的信息。
LLM.04 TimeBench:LLM时间推理能力的综合评估
06-29
### LLM.04 TimeBench: LLM时间推理能力的综合评估 #### 概述 随着自然语言处理（NLP）技术的迅速发展，大型语言模型（LLMs）已经成为推动这一领域进步的关键力量。然而，在众多研究和应用中，对于时间推理能力的...
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
这项研究不仅展示了LLM-as-a-Judge作为一种有效评估工具的巨大潜力，而且还提供了两个有价值的基准测试：MT-Bench和Chatbot Arena。这些工具不仅有助于更好地理解LLM的能力和限制，也为未来的聊天机器人开发提供了...
微软COPILOT做PPT需要哪些技术？.pdf
05-28
"微软COPILOT做PPT需要哪些技术？" 微软COPILOT做PPT需要哪些技术？这篇报告探讨了微软COPILOT在PPT领域的应用，特别是 Copilot 生成 PPT 的功能。我们认为，大模型将以全新技术完全革新办公体验，大幅提升效率，...
最全的开源 LLM （大语言模型）整理.zip
09-04
7. **模型评估**：评价LLM的常用指标包括困惑度（Perplexity）、BLEU分数、ROUGE分数等，这些可以帮助我们了解模型在特定任务上的表现。 8. **应用领域**：LLM广泛应用于问答系统、文本摘要、情感分析、机器翻译、...
ChatGPT 引爆 AI 热潮，未来有哪些核心落地场景与投资机遇？
04-12
围绕新一代 AI 及产业链，又有哪些率先落地的应用场景与投资机遇？ 近日，华兴新经济基金科技与企业服务团队通过对 ChatGPT 的成长历史与技术路线进行了梳理与分析，并着重探讨了生成式 AI 的技术突破与迭代方向，对...
清华发布 KoLA 评测集，分4个认知层级评测LLM，GPT-4竟不是第一？
夕小瑶科技说
06-20 437
作者 | Python预训练语言模型（PLM）刷GLUE，SuperGLUE，甚是常见；那ChatGPT等大语言模型（LLM）刷什么榜呢？现在常用的榜单，例如MMLU评测了57个学科知识，Big-Bench评测204个推理任务。而这次，清华大学提出KoLA评测基准，从掌握和利用世界知识的角度，衡量大语言模型的表现。KoLA基于19个关注实体、概念和事件的任务。参考了Bloom认知体系，KoLA从知识的记忆、理解、应用和创造4个层级，从深度而非广度去衡量大语言模型处理世界知识的能力。
一定要看看的大模型【评测基准】及【评测报告】
热门推荐
weixin_44077556的博客
10-31 1万+
针对于复杂任务，每个模型都要多次测试其对指示模版的适应程度。
LLM之LangChain（四）| 介绍LangChain 0.1在可观察性、可组合性、流媒体、工具、RAG和代理方面的改进
wshzd的博客
01-18 1641
LangChain提供了许多输出解析器，用于将LLM输出转换为更合适的格式，其中许多解析器支持JSON、XML和CSV等结构化格式的流式部分结果。最近几个月，该团队在LangChain表达式语言（LCEL）方面投入了大量资金，以实现更好的编排，因为我们都需要一种简单而声明的方式来组合链。对于大规模文本任务，LangChain提供了索引API，允许用户在忽略未更改的部分的同时重新插入内容，从而为大容量工作负载节省了时间和成本。或者先对其进行硬编码以调用特定的工具，使用户能够构建更复杂、更高效的语言模型。
OpenLLMetry 教程：基于OpenTelemetry的LLM应用程序观测性增强
gitblog_01052的博客
08-07 708
OpenLLMetry 教程：基于OpenTelemetry的LLM应用程序观测性增强 openllmetryOpen-source observability for your LLM application, based on OpenTelemetry项目地址:https://gitcode.com/gh_mirrors/op/openllmetry 1. 项目介绍 OpenLLMetry...
【小迪安全笔记V2022】信息打6~8
最新发布
2202_75354817的博客
08-25 690
小迪安全学习笔记
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 991
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 850
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
LLM的训练数据主要有哪些？数据格式是什么样的？
07-17
LLM（Language Model for Legal Text）的训练数据主要包括法律文本和相关的语料库。下面是一些常见的LLM训练数据来源： 1. 法律文书和案例法：包括法院判决、法律条文、法律评论等。这些文本提供了实际的法律应用场景和判例，可以用于训练模型理解和解释法律问题。 2. 法律条款和法规：包括宪法、刑法、民法、商法等各个领域的法律规定。这些文本提供了法律的基本原则和规范，可以用于训练模型学习法律知识和解答相关问题。 3. 法学论文和学术研究：包括法学期刊、学术论文等。这些文本提供了深入的法学理论和研究成果，可以用于训练模型理解复杂的法律问题和解决方法。 4. 法律书籍和教材：包括法学教材、法律辞典等。这些文本提供了系统的法律知识和概念，可以用于训练模型掌握法律基础知识。 LLM的训练数据通常以文本格式存在，可以是纯文本文件或结构化的数据文件。数据格式可以是普通的文本文件，也可以是特定的标记语言（如XML或JSON），以便更好地表示文本的结构和关系。每个训练样本通常包含一段法律文本和与之相关的标签或注释。这些标签可以是法律条款、法规编号、案件分类等，用于帮助模型理解和处理法律问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值