七天入门大模型 ：LLM大模型基础知识最全汇总

已于 2024-02-14 16:48:17 修改
阅读量1.9k 收藏 37
点赞数 22
分类专栏： NLP与大模型 大模型实战 文章标签： 大模型 算法 langchain 职场和发展 面试题
于 2024-02-14 16:47:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75499313/article/details/136114085
版权

七天入门LLM大模型学习 旨在帮助初学者理解和学习LLM的基础概念和实践。

未来七天，我将每天为大家推出一篇课程内容，感兴趣的小伙伴们可关注我们

图片

文章目录

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了NLP&大模型面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

用通俗易懂方式讲解系列

基础模型研究

2023年，随着LLM技术的发展，中国模型研究机构的开源模型迎来了爆发式的增长：

2023年3月，智谱AI首先在魔搭社区发布了ChatGLM-6B系列，ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。现在，智谱AI的ChatGLM-6B已经更新到第三代，同时在多模态推出了CogVLM系列，以及支持视觉agent的CogVLM，在代码领域推出了CodeGeex系列模型，同时在agent和math均有探索和开源的模型和技术。

2023年6月，百川首先在魔搭社区发布了百川-7B模型，baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。百川也是较早推出预训练模型的公司，并戏称给开发者提供更好的“毛坯房”，让开发者更好的“装修”，推动了国内基于预训练base模型的发展。后续百川发布了13B模型，以及百川2系列模型，同步开源base和chat两个版本。

2023年7月，上海人工智能实验室在WAIC 2023开幕式和科学前沿全体会议上，联合多家机构发布全新升级的“书生通用大模型体系”，包括书生·多模态、书生·浦语和书生·天际等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。上海人工智能实验室不仅做了模型weights的开源，还在模型、数据、工具和评测等层面进行全方位开源，推动技术创新与产业进步。后续上海人工智能实验室陆续发布了书生·浦语20B模型，以及书生·灵笔多模态模型。

2023年8月，阿里巴巴开源了通义千问7B模型，后续相继开源了1.8B，14B，72B的base和chat模型，并提供了对应的int4和int8的量化版本，在多模态场景，千问也开源了qwen-vl和qwen-audio两种视觉和语音的多模态模型，做到了“全尺寸、全模态”开源，Qwen-72B提升了开源大模型的尺寸和性能，自发布以来一直维持在各大榜单榜首，填补了国内空白。基于Qwen-72B，大中型企业可开发商业应用，高校、科研院所可开展AI for Science等科研工作。

2023年10月，昆仑万维发布百亿级大语言模型「天工」Skywork-13B系列，并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集Skypile/Chinese-Web-Text-150B 数据集。由昆仑经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。大小约为600GB，总token数量约为（1500亿），是目前最大得开源中文数据集之一。

2023年11月，01-AI 公司发布了 Yi 系列模型，其参数规模介于 60 亿至 340 亿之间，训练数据量达到了 300 亿token。这些模型在公开排行榜（如 Open LLM leaderboard）以及一些极具挑战性的基准测试（例如 Skill-Mix）中的表现，均超过了之前的模型。

模型定制新范式

性能卓越的模型和行业定制模型通常需要在预训练模型上，通过数据进过多次微调得来的。过去的一年中，来自社区的贡献者通过模型微调的方式，持续在各个方向做探索，并回馈社区，贡献了更加繁荣的行业模型生态。

IDEA Lab发布的姜子牙通用大模型是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。

OpenBuddy致力于面向全球用户提供强大的多语言聊天模型，强调对话式AI对英语、中文和其他语言的无缝多语言支持。

Codefuse和wisdomshell专注于代码领域，希望提升开发者效率，让代码使用更加简单，在各类评测中，效果远超基准。

FinGLM和通义金融模型，专注在金融领域，基于GLM模型和千问模型，提供了金融年报解读，金融名词解释等金融行业垂直能力。

浙江大学，东北大学，大连理工，华东理工大学，南方科技大学，北京大学袁粒项目组，香港中文大学openmmlab等高校实验室通过微调预训练模型，推动开源模型在司法行业，教育行业，医疗行业，视频领域，全模态等方向发展。

LLM类型介绍

Base模型和Chat模型

我们通常会看到某模型研发机构开源了base模型和chat模型，那base模型和chat模型有什么区别呢？

首先，所有的大语言模型（LLM）的工作方式都是接收一些文本，然后预测最有可能出现在其后面的文本。

base模型，也就是基础模型，是在海量不同文本上训练出来的预测后续文本的模型。后续文本未必是对指令和对话的响应。

图片

qwen-1.8B

chat模型，也就是对话模型，是在base基础上通过对话记录（指令-响应）继续做微调和强化学习，让它接受指令和用户对话时，续写出来的是遵循指令的，人类预期的assistant的响应内容。

图片

qwen-1.8B-Chat

图片

图片来源：RAG vs Finetuning — Which Is the Best Tool to Boost Your LLM Application?

多模态模型

多模态LLM将文本和其他模态的信息结合起来，比如图像、视频、音频和其他感官数据，多模态LLM接受了多种类型的数据训练，有助于transformer找到不同模态之间的关系，完成一些新的LLM不能完成的任务，比如图片描述，音乐解读，视频理解等。

图片

图片来源：ONELLM

Agent模型

LLM具备agent大脑的能力，与若干关键组件协作，包括，

规划（planning）：子目标拆解，纠错，反思和完善。

记忆（Memory）：短期记忆（上下文，长窗口），长期记忆（通过搜索或者向量引擎实现）

工具使用（tool use）：模型学习调用外部API获取额外的能力。

图片

Code模型

Code模型在模型的预训练和SFT中加入了更多的代码数据占比，在代码的一系列任务，比如代码补齐，代码纠错，以及零样本完成编程任务指令。同时，根据不同的代码语言，也会有python，java等更多的专业语言代码模型。

使用LLM及优化LLM输出效果

大语言模型是根据跨学科的海量的文本数据训练而成的，这也让大语言模型被大家认为最接近“AGI”的人工智能。然而，针对大语言模型，我们希望更好的使用LLM，让LLM更好的遵循我们的指令，按照我们可控的方式和特定行业的知识输出答案。

如下的两种方式可以用来参考：

图片

图片

模型推理

模型推理指利用训练好的模型进行运算，利用输入的新数据来一次性获得正确结论的过程。

图片

来源：“understanding-how-llm-inference-works-with-llama-cpp”

参照图，流程如下：

1. 分词器将提示拆分为标记列表。根据模型的词汇表，某些单词可能会被拆分为多个标记。每个令牌都由一个唯一的数字表示。

2. 每个数字标记都会转换为embedding向量。embedding向量是固定大小的向量，以 LLM 更有效处理的方式表示标记。所有embedding一起形成embedding矩阵。

3. 嵌入矩阵用作Transformer的输入。Transformer 是一个神经网络，是LLM的核心。Transformer 由多层layer组成。每层都采用输入矩阵并使用模型参数对其执行各种数学运算，最值得注意的是self-attention机制。该层的输出用作下一层的输入。

4. 最终的神经网络将 Transformer 的输出转换为logits。每个可能的下一个标记都有一个相应的 logit，它表示该标记是句子“正确”延续的概率。

5. 使用多种采样技术之一从 logits 列表中选择下一个标记。

6. 所选token作为输出返回。要继续生成token，请将所选令牌附加到步骤 (1) 中的令牌列表，然后重复该过程。这可以继续下去，直到生成所需数量的token，或者 LLM 发出特殊的流结束 (EOS) 令牌。

Prompt（提示词）

prompt（提示词）是我们和LLM互动最常用的方式，我们提供给LLM的Prompt作为模型的输入，比如“使用李白的口吻，写一首描述杭州的冬天的诗”，开源大模型引入了system消息和人工prompt的概念，可以根据提示提供更多的控制。

图片

few-shot prompt

通过在prompt中增加一些输入和首选的优质输出的示例，可以增强LLM的回答效果，更好的遵循我们的指令。但是更多的示例，会收到LLM的上下文窗口的限制，更多的token也会增加算力的消耗，也会影响LLM的响应速度。

图片

LLM+RAG

大型语言模型 (LLM) 演示显着的能力，但面临诸如此类的挑战：幻觉、过时的知识以及不透明、无法追踪的推理过程。检索增强生成 (RAG)通过整合来自外部数据库的知识成为一个有前途的解决方案，这增强了模型的准确性和可信度，特别是对于知识密集型任务，并且允许知识的不断更新和整合特定领域的信息。RAG协同作用将LLM的内在知识与广泛的、外部数据库的动态存储库。

图片

模型微调

微调是我们向开源的LLM的CKPT提供更多的数据，使他具备额外的知识，或者改变他的一些原来的生成结果。

微调会改变模型的权重，并可以更好的控制模型的生成结果。对比few-shot prompting的方式，也可以解决通过few-shot prompting方式带来的token消费高，模型响应速度慢，以及上下文窗口不够的问题。

微调也会产生一些意向不到的结果，并有可能导致模型的通用能力下降，所以需要客观的评估模型微调的结果。

图片

魔搭社区提供了一站式微调框架：SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）。它集成了各种高效的微调方法，如LoRA、QLoRA、阿里云自研的ResTuning-Bypass等，以及开箱即用的训练推理脚本，使开发者可以在单张商业级显卡上微调推理LLM模型。

模型量化

模型量化是使用低精度数据类型（例如 8 位整数 (int8)）而不是传统的 32 位浮点 (float32) 表示来表示模型中的权重、偏差和激活的过程。通过这样做，它可以明显减少推理过程中的内存占用和计算需求，从而能够在资源受限的设备上进行部署。模型量化在计算效率和模型精度之间取得微妙的平衡。目前主要使用的LLM开源量化工具主要有：bnb，GPTQ，AWQ

图片

float32到float16的过程-来源：LLM Series - Quantization Overview

模型评估

LLM评估技术是研究和改进LLM的关键环节。LLM的评估是一项复杂的任务，需要考虑多个方面的评估维度和任务类型，如文本对话、文本生成、多模态场景、安全问题、专业技能（coding/math）、知识推理等。

图片

LLM评估通常可以人工评估和自动评估两大类。其中，自动评估（Automatic evaluation）技术又可以分为rule-based和model-based的方式。其中，rule-based主要面向客观题评价，评测题目通常包含标准答案；model-based方法主要用于评价主观题，如复杂知识推理、多轮会话、文本生成等，通过专家模型（Expert model）来评价目标LLM的生成效果。

魔搭社区提供了一套LLM评估框架–LLMuses，专注于使用自动评估方法来评估LLM在各个任务上的表现。其包含以下特性：

  • 轻量化，易于定制

  • 预置丰富的评估指标

  • Model-based模式，提供多种评价模式（Single mode、Pairwise-baseline、Pairwise-all）

  • 可视化报告

模型推理加速和部署

魔搭社区的大语言模型LLM支持将模型托管在服务器或者云上，并创建API接口或者Web应用提供给用户与模型交互。

魔搭社区提供了针对不同开发者的模型部署方案：

1. Swingdeploy： 可以通过简单的选择0代码的方式，即可部署魔搭社区的模型到云上并生成供应用程序使用的API接口，支持弹性扩缩容和按需调用。

2. 阿里云PAI SDK： 魔搭社区和阿里云PAI产品合作，支持通过PAI的python SDK在云上部署模型。

3. vLLM推理加速： 魔搭社区和vLLM合作，支持更快更高效的LLM推理服务，基于vLLM，开发者可以通过一行代码实现针对魔搭社区的大语言模型部署。

4. 多端异构部署： 魔搭社区和Xinference合作，支持对LLM的GGUF和GGML各种部署，支持将模型部署到CPU甚至个人笔记本电脑上。

5. 分布式多模型部署： 魔搭社区和fastchat合作，支持一行代码部署魔搭社区的大语言模型，支持Web UI和OpenAI兼容的RESTful API。

图片

模型应用-Agent

Modelscope AgentFabric是一个交互式智能体框架，用于方便地创建针对各种现实应用量身定制智能体。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括：

⚡ 智能体构建器：一个自动指令和工具提供者，通过与用户聊天来定制用户的智能体

⚡ 用户智能体：一个为用户的实际应用定制的智能体，提供构建智能体或用户输入的指令、额外知识和工具

⚡ 配置设置工具：支持用户定制用户智能体的配置，并实时预览用户智能体的性能

图片

深度学习算法与自然语言处理
关注
  • 22
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM-RAG-WEB 大模型+文件+可视化对话界面
weixin_42357472的博客
10-17 809
注意：这里只是简单实现了功能和界面，文件对话也暂时只支持一个文件，如果跳到模型对话再切换回文件对话会文件会删除重置会话，但模型对话切换回来时保留之前会话的。页面说明（分成两块）：1、模型对话（纯调用模型，或者自己外挂个数据库做前置增强，个人认为RAG增强可以这里做）2、文件对话（文件langchain切段保存向量库faiss，然后纯和文件进行对话，文件段向量召回组合问题交给LLM）
SpringMVC源码解读之HandlerMapping
09-02
主要介绍了SpringMVC源码解读之HandlerMapping 的相关资料,需要的朋友可以参考下
大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm
weixin_36378508的博客
10-17 1276
绝对位置编码是一种用于为序列数据中的每个位置添加绝对位置信息的技术。在自然语言处理中，绝对位置编码常用于处理文本序列，特别是在使用Transformer模型进行序列建模的任务中。在传统的Transformer模型中，位置编码使用了正弦和余弦函数的组合来表示相对位置信息，但它并没有提供绝对位置的信息。这意味着，如果将输入序列的位置进行重新排序或删除/添加元素，模型将无法正确地理解序列的新位置。为了解决这个问题，绝对位置编码被引入到Transformer模型中。
大型语言模型（LLM）简介：基础知识、工作原理和示例
西江茶客
12-26 1797
语言模型是一种统计模型，用于预测单词序列的概率。它是一种人工神经网络，经过大量文本数据的训练，可以理解语言并预测序列中的下一个单词。大型语言模型是具有大量参数的神经网络，允许它们学习语言中的复杂模式。大型语言模型，也称为预训练模型，是一种使用大量数据来学习语言特征的人工智能。这些模型用于生成基于语言的数据集，并可用于各种任务，例如语言理解和生成。大型语言模型的关键特征之一是它们能够生成类似人类的文本。这些模型可以生成连贯、语法正确，有时甚至幽默的文本。
LLM（大语言模型）——大模型简介
热门推荐
telescopewang的博客
02-04 1万+
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括API集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
通俗易懂了解大语言模型LLM发展历程
u011311291的博客
09-23 2301
2方面，1方面是面向生命科学，了解和学习人最自然的知识和本性；另一方面是面向行业，例如下面是天猫精灵团队为了让回复更加先得有温度，请了社会，心理专家面对敏感问题打的标签。
Google被逼再返开源战场；AI infra行业全景图；12个RAG痛点及解决建议；Runway GEN:48第二届比赛结束；魔搭课程·七天入门LLM大模型| ShowMeAI日报
ShowMeAI研究中心
02-23 1123
日报关键词：🉑Google Gemma；Groq VS 英伟达；🉑AI infra landscape；12个RAG 痛点及解决建议；🉑Runway GEN:48；🉑魔搭社区「七天入门LLM大模型」课程……点击阅读全文
七天入门大模型 ：LLM和多模态模型高效推理实践
2201_75499313的博客
02-14 843
本课程以Qwen系列模型为例，主要介绍在魔搭社区如何高效推理LLM和多模态模型，主要包括如下内容：LLM和多模态大模型的推理使用ModelScope NoteBook免费GPU推理Qwen-1.8B-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-VL-Chat-int4使用ModelScope NoteBook免费GPU推理Qwen-audio-Chat推理加速和多端推理推理加速：vLLM+fastchat加速推理。
七天入门大模型 ：大模型量化及低成本部署最佳实践
2201_75499313的博客
02-17 1439
七天入门大模型已完成了5篇，
七天入门大模型 ：来，亲手做一个AI应用！
2201_75499313的博客
02-17 803
七天入门大模型已完成了6篇，
基于支持向量机的机器学习研究 Research of Machine-Learning Based Support Vector Machine
07-04
【摘要】 学习是一切智能系统最根本的特征。机器学习是人工智能最具智能特征、最前沿的研究领域之一。机器学习研究的是如何使机器通过识别和利用现有知识来获取新知识和新技能。机器学习就是要使计算机能模拟人的学习行为,自动地通过学习获取知识和技能,不断改善性能,实现自我完善。　与传统统计学相比,统计学习理论是一种专门研究小样本情况下机器学习规律的理论。V.Vapnik　等人从六、七十年代开始致力于此方面研究,到九十年代中期,其理论不断发展和成熟。统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架,它能将很多现有方法纳入其中,同时,在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support　Vector　Machine 或 SVM),它已初步表现出很多优于已有方法的性能。　本文对机器学习、支持向量机的研究现状及应用领域进行了综述,阐述了机器学习和支持向量机的基本概念、基本模型和支持向量机的训练算法。针对机器学习系统的具体结构,提出了机器学习系统的模块化设计,划分出了输入处理、训练、执行与评价、评价表示 4 个模块,设计了各个模块之间的通信方式,并具体实现了 4 个模块和模块集成系统。 根据基于支持向量机的机器学习的研究成果,研制开发出人脸检测系统,主要包括人脸图像处理和编码、基于支持向量机的机器学习、执行与评价、评价表示功能,实现了人脸的自动判定。 还原 【Abstract】 Learning is the fundamental feather of all intelligent system.machine-learning is a domain with most intelligent feather and a domain with most foreland.machine-learning research how to obtain new knowledge and new technique by recognition and using existing knowledge.machine-learning let computer simulate man’s learning-action,automatically obtain new knowledge and new technique by learn,improve technique,realize own-perfect. To traditional statistics,Statistical Learning Theory is a theory of researching rule of machine-learning under little sample number.From 1960’s,V.Vapnik etc. begin to research this theory.To middle of 1990’s,this theory increasivly improved and completed.Statistical Learning Theory build on a set of stabile theory,offer a united framework to resolve little sample learning question,it can hold lots of existing method,and it build a new currency learning method--Support Vector Machine,Support Vector Machine method had represent better performance than existing method. This article summarize today state and application domain of machine-learning and Support Vector Machine,expound basic concept and basic model of machine-learning and Support Vector Machine and training arithmetic of Support Vector Machine.Aim at structure of machine-learning system,this article put forward module-design of machine-learning system,partition four module:deal-input,train,evaluate and evaluate representation,and design communicate style of each module,realize this four module and module-integration system. On result of researching machine-learning based Support Vector Machine,Face-Detection system is producted.This system mainly include dealing image of man-face and encode,machine-learning based Support Vector Machine,evaluate and evaluate representation,realize automatically judging man-face. 还原
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Rule Extraction Model Based on Decision Dependency Degree
02-08
Rule Extraction Model Based on Decision Dependency Degree
终端LLM AI模型:mlc-llm
10-10
MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，让每个人都能在每个人的设备上本地开发、优化和部署 AI 模型。
最全的开源 LLM （大语言模型）整理.zip
09-04
最全的开源 LLM （大语言模型）整理.zip
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
最新大语言模型(LLM)初学知识汇总
08-24
大语言模型 (LLM) 是深度学习的一个子集，它正在彻底改变自然语言处理领域。它们是功能强大的通用语言模型，可以针对大量数据进行预训练，然后针对特定...这份综合指南将涵盖LLM的基础知识、训练过程、用例和未来趋势。
大型语言模型 (LLM)全解读.pdf
01-30
大型语言模型 (LLM)全解读
介绍大模型LLM的流程
最新发布
03-14
大模型LLM（Large Language Model）的介绍流程如下： 1. 定义任务：首先确定LLM要解决的任务或问题，例如文本生成、机器翻译、对话系统等。 2. 数据收集：收集与任务相关的大规模数据集，包括原始文本数据、标注数据等。 3. 数据预处理：对收集到的数据进行预处理，包括文本清洗、分词、标注等，以便后续的模型训练。 4. 模型设计：设计LLM的模型结构，通常采用深度学习模型，如Transformer等，可以根据任务的特点进行定制化设计。 5. 模型训练：使用预处理后的数据对LLM进行训练，通过优化算法（如梯度下降）不断调整模型参数，使其能够更好地拟合训练数据。 6. 模型评估：使用测试数据对训练好的LLM进行评估，评估指标可以包括准确率、召回率、BLEU等，以评估模型的性能和效果。 7. 超参数调优：根据评估结果，对LLM的超参数进行调优，如学习率、批大小等，以提升模型的性能。 8. 部署应用：将训练好的LLM部署到实际应用中，可以通过API接口或其他方式提供服务，使其能够实时响应用户的请求。 9. 持续改进：根据用户反馈和实际应用情况，对LLM进行持续改进和优化，以提升其性能和用户体验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值