RAG技术已经这么强大了,我们真的还需要微调吗?

最新推荐文章于 2024-06-17 15:06:36 发布
最新推荐文章于 2024-06-17 15:06:36 发布
阅读量706 收藏 28
点赞数 29
文章标签： 人工智能 prompt 产品经理 AIGC LLM 大模型 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAI666666/article/details/139238357
版权

图片

RAG技术已经这么强大了,我们真的还需要微调吗?

目前,大模型的热度居高不下,随着大模型的火爆越多的公司和组织开始使用大模型技术,往往大模型可以解决日常中的大部分问题,对于企业的私有知识的问答我们也可以通过RAG技术来进行实现,但是在面对特定任务、领域和场景时,基础大模型的通用知识往往不能给到我们准确的回复,而RAG技术通常依赖于通用知识库,这可能不包含特定领域的最新或者最专业的信息.最终我们仍然需要对模型本身进行微调,增强大模型本身的专业领域知识能力,来实现对专业领域等特殊场景的支持.

如何高效的微调这一问题,随着谷歌的研究人员在发布了论文《Parameter-Efficient Transfer Learning for NLP》[1] 后渐渐进入了人们的视野,PEFT技术旨在通过最小化的微调参数数量和复杂度,来提高与训练模型在新任务上的性能,从而缓解大型预训练模型的训练成本,这样即使计算资源有限,也可以利用预训练模型的知识来快速适应新的任务,实现高效的迁移学习.

本文我们将探索各个PEFT微调技术的原理和特点以及它们分别适合什么样的场景来帮助我们选择更加适合自己的PEFT技术.

主流PEFT技术

Adapter Tuning

在论文《Parameter-Efficient Transfer Learning for NLP》[1] 中谷歌的研究人员提出针对BERT的PEFT微调方式即Adapter Tuning.

图片

谷歌的研究人员设计了Adapter结构,将其嵌入到Transformer的结构里,固定原参数不变,只对新增的Adapter结构进行微调.

图片

根据论文中的实验结果来看,这个方法能够在只额外增加3.6%的参数规模情况下取得和Full-finetune接近的效果.

总的来说Adapter Tuning技术,没有改变预训练模型原本的部分而是在预训练模型的开始加入了一个Adapter层,每次训练时只针对Adapter,但是由于额外增加了Adapter层,会导致模型的层级加深,而导致模型的推理速度受到影响.

Prefix Tuning

Prefix Tuning 方法由斯坦福的研究人员在《Prefix-Tuning: Optimizing Continuous Prompts for Generation》[2] 首次提出,该方法是在输入Token之前构造一段任务相关的virtual token作为Prefix,然后训练的时候只更新Prefix部分的参数,而其他的部分参数固定,改方法类似于构造了一个Prompt,只是Prefix是将Prompt隐式的隐藏在模型中.

图片

同时为了防止更新Perfix的参数导致训练不稳定,他们在Prefix层前加入MLP结构,训练完成后只保留Prefix参数.

最终根据实验结果可以看到Prefix Tuning的方式也取得了不错的效果

图片

总体来说Prefix Tuning相当于在预训练模型的上隐式的加入了一层Prompt,在输入token之前加入虚拟token作为前缀,从而影响结果.

Prompt Tuning

Prompt tuning的首次提出是谷歌的研究员在论文《The Power of Scale for Parameter-Efficient Prompt Tuning》[3],改方法可以看作简化板的Prefix tuning,只在输入层上加入Prompt token,也没有加入MLP来解决训练难的问题,随着预训练模型的参数量增加Prompt Tuning方法会逼近Full-finetune

图片

Prompt Tuning和Prefix Tuning非常相似,但是整体而言则更加简单,它仅在输入层加入了Prompt token,并且改方法非常依赖原本预训练模型的能力,只有当预训练模型参数量足够大时才能达到比较好的效果,限制较大.

P-Tuning

P-Tuning方法则是由清华大学的研究员在《GPT Understands, Too》[4]提出,在最早的版本中P-Tuning于Prefix-Tuning类似都是额外加入Embedding层,不过Prefix Tuning是将额外的Embedding层加在开头,而P-Tuning则是位置不固定,Prefix Tuning是在每个Attention层都加入Prefix Embedding来增加额外参数,通过MLP来初始化,而P-Tuning则是只在输入的时候加入Embedding,通过LSTM+MLP来初始化.

图片

根据实验结果来看P-Tuning的v1版本和Prompt Tuning一样,都是在预训练模型参数量足够大时才能达到和Full-finetune类似的效果,而参数规模比较小时效果很差.从实验的报告中可以看到,当规模10B时才能够基本持平.

图片

在P-Tuning的v2版本中,在多层加入了Prompt token上作为输入,带来了更多可学习的参数,同时也足够影响参数,并且加入到更深层的结构中的Prompt能够给模型预测带来更直接的影响

图片

从实验参数来看,P-tuning的v2版本在小参数规模的模型上也能达到比较好的效果

图片

P-tuning的整体思路和Prefix Tuning,Prompt Tuning思路相似都是在原本的模型上构架类似Prompt层的概念从而影响模型的结果,但是在v2版本中P-tuning在更深层的结构中加入Prompt层,这样对于结果的影响则更加明显.

LoRA

LoRA方法是由微软和CMU的研究员在论文《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》中提出的一种方法.

因为大模型起到关键作用的是其中的低秩的本质维度,受此启发作者设计了如下的结构,在涉及到矩阵的相乘的模块时,引入低秩的A、B两个低秩矩阵去模拟Full-finetune的过程,相当于只对模型中起关键作用的低秩本质维度进行更新.

图片

LoRA的出现解决了因为Adapter方法额外增加的Embeding层带来的推理延迟,并且因为没有引入Prompt所以不会有Prompt方法带来的一些问题,并且因为是模拟Full-finetune,几乎不会带来任何训练效果的损失.

根据实验结果显示LoRA也确实更加有效,训练了相当小的参数量而得到了接近甚至超过Full-finetune.

图片图片

LoRA的思路则完全不同于前几种方法,LoRA方法认为影响模型输出的最关键的是其中的部分低秩的关键矩阵,LoRA则通过额外的低维矩阵对这部分核心低秩矩阵进行微调,LoRA本身没有在模型本身额外增加层级,所以不会影响推理的速度.

总结分类

经过了上边的介绍,可以发现当前有很多的PEFT技术,那么当前PEFT技术可以分为几类呢,在论文《TOWARDS A UNIFIED VIEW OF PARAMETER-EFFICIENT TRANSFER LEARNING》中CMU的科学家将当前主流的几种技术按照方法进行了以下几种分类

图片

根据几种PEFT技术的特点我们进行如下总结

Adapter Tuning

● 特点: Adapter Tuning 是一种轻量级微调方法，通过在预训练模型的参数中添加小型适配器来保持大部分参数不变，仅微调适配器的参数。这样可以显著减少微调过程中需要更新的参数数量，降低计算成本和内存占用。

●优势: 适用于资源受限的环境，能够在不引入大量额外参数的情况下进行微调，同时保持模型的泛化能力。

●适用场景: 适用于需要在资源受限环境下进行微调的场景，如移动端部署等。

Prefix Tuning

●特点: Prefix Tuning 是一种在输入序列前添加特定标记（称为前缀）的微调方法。通过引入前缀，模型可以更好地适应特定任务的输入输出模式，提高模型性能。

●优势: 适用于需要在特定任务上微调的场景，可以通过定制化前缀来引导模型执行特定任务。

●适用场景: 适用于需要在特定任务上微调的自然语言处理任务，如问答、文本生成等。

Prompt Tuning

●特点: Prompt Tuning 是一种结合了前缀生成和微调的方法。它引入可学习的提示（Prompt）来指导模型执行特定任务，同时通过微调模型参数以适应特定任务的要求。

●优势: 结合了前缀生成和微调的优点，能够灵活地指导模型执行特定任务，并在微调过程中优化模型参数。

●适用场景: 适用于需要在特定任务上微调，并且需要精细控制模型输出的自然语言处理任务。

P-Tuning

●特点: P-Tuning 是一种基于控制变量的微调方法。它通过引入控制器来调节模型输出，在微调过程中不直接调整模型参数，从而实现对模型输出的精细控制。

●优势: 能够对模型输出进行精细控制，适用于需要调节模型输出的任务。

●适用场景: 适用于需要对模型输出进行调节的自然语言处理任务，如生成式任务。

LoRA

●特点: LoRA 是针对大型模型微调的综合性方法，结合了大批量优化、正则化、注意力机制等技术。它旨在解决在大批量训练和微调过程中遇到的问题，如收敛速度、泛化能力等。

●优势: 综合考虑了大型模型微调过程中的各种问题，能够提高模型的性能和泛化能力。

●适用场景: 适用于大型模型微调的各种任务和场景。

挑战与展望

PEFT技术在提升语言模型微调效率方面取得了显著进展，但仍然面临许多挑战。首先，在性能和效率之间取得平衡仍然是一个难题，特别是在大规模数据集上。其次，由于存在多种PEFT方法，每种方法在特定任务上表现不同，因此选择最适合特定任务的方法仍然具有挑战性。此外，尽管PEFT方法可以复用预训练模型，但如何有效地复用这些模型，尤其是在跨任务设置中，仍然是一个挑战。此外，PEFT方法虽然降低了计算资源需求，但在某些情况下仍需要大量的计算资源。如何在资源受限的环境中有效部署PEFT模型是一个挑战。PEFT模型往往更复杂，其内部工作原理不如全参数微调模型直观，这增加了模型解释的难度。PEFT模型在特定任务上的表现可能优于全参数微调，但在跨任务和跨领域任务上仍存在挑战。

PEFT方法对模型的长期影响尚未完全了解，例如对模型泛化能力、稳健性等的影响。随着模型规模的不断扩大，如何有效地扩展PEFT方法以适应更大规模的模型仍然是一个挑战。PEFT方法大多集中在文本任务上，而多模态融合任务对模型提出了新的挑战。此外，PEFT模型可能更容易受到对抗性攻击，如何确保模型的安全性和隐私性是一个重要挑战。总之，尽管PEFT技术在语言模型微调方面取得了重要进展，但仍需要在多个方面进行进一步研究，以解决当前面临的挑战。

结论

PEFT技术是近年来自然语言处理领域的重要突破。其核心优势在于仅需要微调模型中少量参数，即可使预训练模型适应新的下游任务，大幅降低了微调成本。此外，不同PEFT技术可以适应不同的下游任务，如Adapter Tuning、Prefix Tuning等，有效提高了模型的适应性。此外，PEFT技术可以显著降低计算资源和存储资源的需求，同时很好地保持了预训练模型的泛化能力，避免过拟合。PEFT技术对大模型应用的影响体现在加速大模型的应用落地，节省计算资源，以及提高大模型适应性。因此，我们鼓励NLP和AI领域的技术人员积极投入到PEFT技术的研究中，不断优化现有的PEFT技术，并探索新的PEFT方法。同时，建议相关企业和研究机构组织更多关于PEFT技术的交流会议，促进技术成果的分享和交流。企业和政府应加大在PEFT技术研发和应用方面的投入，以推动这一技术的快速发展和广泛应用。另外，针对PEFT模型可能存在的安全隐患，建议开展针对性的安全研究，以防止对抗攻击等安全风险。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

AAI机器之心
关注
  • 29
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RAG技术知识图谱概览
05-22
RAG技术知识
LM2931AZ-5.0RAG的技术参数
12-12
产品型号:LM2931AZ-5.0RAG输出电压典型值(V):5输出电流典型值(A):0.100极性:正压差典型值(V):0.16@0.1A输入电压最大值(V):40封装/温度(℃):TO92/-40~125描述:100mA可调输出带有60V负载保护低压差稳压器价格/1片(套):...
有了RAG我们还需要微调吗?
2401_82452722的博客
05-21 924
如何在资源受限的环境中有效部署PEFT模型是一个挑战。目前,大模型的热度居高不下,随着大模型的火爆越多的公司和组织开始使用大模型技术,往往大模型可以解决日常中的大部分问题,对于企业的私有知识的问答我们也可以通过RAG技术来进行实现,但是在面对特定任务、领域和场景时,基础大模型的通用知识往往不能给到我们准确的回复,而RAG技术通常依赖于通用知识库,这可能不包含特定领域的最新或者最专业的信息.最终我们仍然需要对模型本身进行微调,增强大模型本身的专业领域知识能力,来实现对专业领域等特殊场景的支持.
大模型实战：使用 LoRA（低阶适应）微调 LLM
2301_81940605的博客
05-02 1122
LLM 是一种基础模型，与传统模型不同，在早期模型中基础模型是在大量数据上进行预训练的，然后我们可以直接将它们用于某些任务用例，也可以对其进行微调以适应某些用例。
【GPT‑4o】完整教程：LORA微调LLaMA3并结合RAG和Agent技术实现Text2SQL任务
拾一滴清水的博客
05-22 501
从头到尾实现了使用LORA微调LLaMA3模型，并结合RAG和Agent技术进行Text2SQL任务。这个流程包括环境准备、数据预处理、自定义训练循环、RAG技术整合、Agent实现
RAG技术已强大，微调仍必要？
2401_85325557的博客
05-31 654
RAG，即Retrieval Augmented Generation，是一种结合了信息检索和生成能力的AI技术。在传统的生成模型中，模型基于训练数据生成回答或内容。而RAG模型在此基础上增加了一个步骤：在生成回答之前，它会先从大量数据源中检索相关信息。这些数据源可以是互联网上的文章、书籍、论坛讨论等。通过检索到的信息，RAG模型能够生成更加丰富、准确和多样化的回答。
垂直领域的大模型应该如何构建？RAG还是微调呢？
最新发布
python1234_的博客
06-17 260
在构建大型语言模型 （LLM） 应用程序时，开发人员可以通过两种常见方式整合专有数据和特定于领域的数据：检索增强生成 （RAG） 和微调。RAG使用外部数据增强提示，而微调则将其他知识合并到模型本身中。然而，这两种方法的优缺点尚不清楚。论文提出了一个用于微调和 RAG 的管道，并介绍了多种流行的 LLM（包括 Llama2-13B、GPT-3.5 和 GPT-4）的两者的权衡。我们的流程由多个阶段组成，包括从 PDF 中提取信息、生成问题和答案、使用它们进行微调，以及利用 GPT-4 评估结果。
RAG 与微调在大模型应用中如何抉择
2401_82469710的博客
04-18 887
随着大型语言模型热度的不断升温，越来越多的开发者和企业投身于基于这些大模型的应用程序开发中。然而，面对预训练基座模型未能达到预期的表现时，如何提升应用程序的性能就成为了一个迫在眉睫的问题。
无限的上下文窗口会扼杀LLM微调和RAG吗？
安静的软件工程师
05-03 854
无限的上下文窗口会扼杀LLM微调和RAG吗？
一种叫做RAG的技术能阻止人工智能模型编造故事吗?
qq_41537900的博客
06-07 623
该框架引入外部资源以提高准确性。它真的像宣传的那样吗?
LP2950ACZ-3.3RAG的技术参数
12-12
产品型号:LP2950ACZ-3.3RAG输出电压典型值(V):3.300输出电流典型值(A):0.100极性:正压差典型值(V):0.35@0.1A输入电压最大值(V):30封装/温度(℃):TO92/-40~125描述:100mA低压差稳压器价格/1片(套):￥3.40 
LP2950CZ-3.3RAG的技术参数
12-12
产品型号:LP2950CZ-3.3RAG输出电压典型值(V):3.300输出电流典型值(A):0.100极性:正压差典型值(V):0.35@0.1A输入电压最大值(V):30封装/温度(℃):TO92/-40~125描述:100mA低压差稳压器价格/1片(套):￥3.50 
LP2950ACZ-5.0RAG的技术参数
12-12
产品型号:LP2950ACZ-5.0RAG输出电压典型值(V):5输出电流典型值(A):0.100极性:正压差典型值(V):0.35@0.1A输入电压最大值(V):30封装/温度(℃):TO92/-40~125描述:100mA低压差稳压器价格/1片(套):￥3.40 
从GAN到WGAN（02/2）
gongdiwudu的专栏
06-14 988
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
Meta首席AI科学家Yann LeCun指出生成式AI的不足
2301_79342058的博客
06-09 1470
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/在当今被誉为技术创新前沿的生成式AI领域，Meta首席AI科学家Yann LeCun提出了一个颠覆现状的观点。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 570
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
yolov10主要特点
yzf060109的专栏
06-14 645
以下是YOLOv10与其他模型的快速对比：YOLOv10-S：46.3 AP，2.49毫秒延迟YOLOv10-M：51.1 AP，4.74毫秒延迟YOLOv10-L：53.2 AP，7.28毫秒延迟YOLOv10-X：54.4 AP，10.70毫秒延迟这些改进使YOLOv10成为实时目标检测任务的首选，从自动驾驶到智能监控。与YOLOv9-C相比，YOLOv10-B（一个平衡的变体）延迟减少了46%，参数量减少了25%，同时保持了相同的性能水平。一对多分配：在训练过程中使用，以提供丰富的监督信号。
YesPMP探索Python在生活中的应用，助力提升开发效率
YesPMP20的博客
06-13 789
Python是一种简单易学、高效强大的编程语言，正变成越来越多人选择的热门技能。学习Python不仅可以提供更多就业机会，还能让自己在职场更加有竞争力，那可以去哪里拓展自己的技能呢？
langchain rag
04-13
LangChain是一种基于区块链技术的语言学习平台，旨在为学习者提供全球范围内的语言学习资源和交流机会。它通过智能合约和去中心化的方式连接学习者和教师，使得学习者可以通过在线课程、语言伙伴和社区互动等方式来提高语言能力。 Rag（Relevance-Aware Generator）是一种基于GPT模型的生成式对话系统。它是OpenAI开发的一种人工智能模型，可以根据用户的输入生成相关的回答。Rag模型结合了检索式对话系统和生成式对话系统的优点，可以根据上下文和问题的相关性生成更加准确和有逻辑的回答。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值