第五节课《LMDeploy 量化部署 LLM 实践》

最新推荐文章于 2024-11-05 15:28:12 发布
最新推荐文章于 2024-11-05 15:28:12 发布
阅读量1k 收藏 8
点赞数 29
文章标签： python chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanre/article/details/138475160
版权

LMDeploy 量化部署 LLM-VLM 实践_哔哩哔哩_bilibili

PDF链接：https://pan.baidu.com/s/1JFtvBWgEGFWJq8pHafvIUg?pwd=6666 
提取码：6666

https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md

一、大模型部署背景

RAG范式开发大模型

Xtuner微调大模型

LMDeploy部署大模型

  •         服务端：CPU、GPU/TPU/NPU，多卡，集群
  • 移动端/边缘：机器人、手机

1、计算量巨大

2、内存开销巨大

 3、访存瓶颈和动态请求：batchsize访问

 二、大模型部署方法

1、模型剪枝(Pruning)：移除模型中不必要或者多余组件

  • 非结构化剪枝：SparseGPT，LoRAPrune，Wanda（将低于阈值的参数置零）
  • 结构化剪枝：LLM-Pruner（一次性移除连接或分层整组权重）

2、知识蒸馏(Knowledge Distillation，KD)：模型压缩，引导轻量化的学生模型

  • 上下文学习(ICL)：ICL distillation
  • 思维链(CoT)：MT-COT，Fine-tune-CoT等
  • 指令跟随(IF)：LaMini-LM

3、量化(Quantization)：浮点数转换为整数或者其他离散形式，访储降低。

  • 量化感知训练(QAT) LLM-QAT：
  • 量化感知微调(QAF) PEQA[，QLORA：
  • 训练后量化(PTQ) LLM.int8，AWQ：

三、LMDeploy

涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，

  • 模型高效推理：lmdeploy chat -h。LLaMa 结构模型的支持（CUDA算子实现）、continuous batch推理模式（请求数量长度不确定）和可扩展的 KV 缓存管理器（不使用的从显存放到内存）。
  • 模型量化压缩：lmdeploy lite -h。KV8量化（INT8），W4A16量化(AWQ)  （INT4）。
  • 服务化部署：lmdeploy serve -h。HTTP API服务

 四、动手实践：安装、部署、量化

1、创建conda环境

conda create -n lmdeploy -y python=3.10

2、安装LMDeploy 

激活虚拟环境

conda activate lmdeploy

安装Imdeploy

pip install lmdeploy[all]==0.3.0

 

3.LMDeploy模型对话(chat)

3.1 Huggingface与TurboMind

HuggingFace:深度学习模型和数据集的在线托管社区，托管模型采用HF格式。modelscope（阿里）、openxlab（上海AI Lab）。

TurboMind：LMDeploy团队开发的LLM推理的高效推理引擎。LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。

  • TurboMind与LMDeploy的关系：LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包，TurboMind是LMDeploy的一个推理引擎，是一个子模块。LMDeploy也可以使用pytorch作为推理引擎。
  • TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。

3.2 下载模型.

常用的预训练模型

ls /root/share/new_models/Shanghai_AI_Laboratory/

cd ~

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/ #软连接
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/ #拷贝
ls

 

 3.3 使用transformer运行模型

Transformer库是Huggingface社区推出的用于运行HF模型的官方库。

新建pipeline_transformer.py

touch /root/pipeline_transformer.py
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("/root/internlm2-chat-1_8b", trust_remote_code=True)

# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("/root/internlm2-chat-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

inp = "hello"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=[])
print("[OUTPUT]", response)

inp = "please provide three suggestions about time management"
print("[INPUT]", inp)
response, history = model.chat(tokenizer, inp, history=history)
print("[OUTPUT]", response)

运行python代码：

conda activate lmdeploy
python /root/pipeline_transformer.py

4.使用LMDeploy与模型对话

使用LMDeploy与模型进行对话的通用命令格式为：lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]

lmdeploy chat /root/internlm2-chat-1_8b

lmdeploy chat -h

5.LMDeploy模型量化(lite)

量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。

  • 计算密集（compute-bound）: 指推理过程中，绝大部分时间消耗在数值计算上；针对计算密集型场景，可以通过使用更快的硬件计算单元来提升计算速度。
  • 访存密集（memory-bound）: 指推理过程中，绝大部分时间消耗在数据读取上；针对访存密集型场景，一般通过减少访存次数、提高计算访存比或降低访存量来优化。

LLM 模型由于 Decoder Only 架构的特性，实际推理时大多数的时间都消耗在了逐 Token 生成阶段（Decoding 阶段），是典型的访存密集型场景。

KV8量化:将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。

W4A16量化:将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。

Weight Only: 是指仅量化权重，数值计算依然采用 FP16（需要将 INT4 权重反量化）。

6. 设置最大KV Cache缓存大小

KV Cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。

在大规模训练和推理中，KV Cache可以显著减少重复计算量，从而提升模型的推理速度。

当显存空间不足时，也可以将KV Cache放在内存，通过缓存管理器控制将当前需要使用的数据放入显存。

模型在运行时的显存占用:模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。

--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8

lmdeploy chat /root/internlm2-chat-1_8b

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.5

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.01

显存占用仅为4660MB，代价是会降低模型推理速度。

 7. 使用W4A16量化

LMDeploy使用AWQ算法，实现模型4bit权重量化。

推理引擎TurboMind提供了非常高效的4bit推理cuda kernel。它支持以下NVIDIA显卡：

  • 图灵架构（sm75）：20系列、T4
  • 安培架构（sm80,sm86）：30系列、A10、A16、A30、A100
  • Ada Lovelace架构（sm90）：40 系列

安装依赖库

pip install einops==0.7.0

模型量化:HF模型被保存到internlm2-chat-1_8b-4bit目录

lmdeploy lite auto_awq \
   /root/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

使用Chat功能运行W4A16量化

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq

KV Cache比例再次调为0.01

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.01

LMDeploy的lite功能

lmdeploy lite -h

 

8. LMDeploy服务(serve)

  • 模型推理/服务：主要提供模型本身的推理，一般来说可以和具体业务解耦，专注模型推理本身性能的优化。可以以模块、API等多种方式提供。
  • API Server：中间协议层，把后端推理/服务通过HTTP，gRPC或其他形式的接口，供前端调用。
  • Client：可以理解为前端，与用户交互的地方。通过通过网页端/命令行去调用API接口，获取模型推理/服务。

实际中并不是绝对的划分。

8.1. 启动API服务器

lmdeploy serve api_server \
    /root/internlm2-chat-1_8b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

model-format、quant-policy这些参数是与第三章中量化推理模型一致的；

server-name和server-port表示API服务器的服务IP与服务端口；

tp参数表示并行数量（GPU数量）。

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 43158

http://127.0.0.1:23333/

8.2 命令行客户端连接API服务器

lmdeploy serve api_client http://localhost:23333

 

 

8.3 网页客户端连接API服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

http://127.0.0.1:6006/

 

9.Python代码集成

9.1 Python代码集成运行1.8B模型

新建Python源代码文件pipeline.py。

touch /root/pipeline.py
from lmdeploy import pipeline #引入lmdeploy的pipeline模块 \

pipe = pipeline('/root/internlm2-chat-1_8b')#从目录“./internlm2-chat-1_8b”加载HF模型 \
response = pipe(['Hi, pls intro yourself', '上海是'])#运行pipeline，这里采用了批处理的方式，用一个列表包含两个输入，lmdeploy同时推理两个输入，产生两个输出结果，结果返回给response \
print(response)#输出response

9.2 向TurboMind后端传递参数

创建TurbomindEngineConfig，向lmdeploy传递参数。

新建python文件pipeline_kv.py。

touch /root/pipeline_kv.py

设置KV Cache占用比例 

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 20%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.2)

pipe = pipeline('/root/internlm2-chat-1_8b',
                backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)

10.拓展部分

10.1 使用LMDeploy运行视觉多模态大模型llava

使用pipeline推理llava-v1.6-7b

安装llava依赖库。

pip install git+https://github.com/haotian-liu/LLaVA.git@4e2277a060da264c4f21b364c867cc622c945874

 新建一个python文件

touch /root/pipeline_llava.py
from lmdeploy.vl import load_image #引入用于载入图片的load_image函数
from lmdeploy import pipeline, TurbomindEngineConfig#引入了lmdeploy的pipeline模块


backend_config = TurbomindEngineConfig(session_len=8192) #图片分辨率较高时请调高session_len
# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)# 创建了pipeline实例 

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')#从github下载了一张关于老虎的图片
response = pipe(('describe this image', image))#输入提示词“describe this image”，和图片，结果返回至response 
print(response)

 运行pipeline

python /root/pipeline_llava.py

Llava模型对中文支持性不好

通过Gradio来运行llava模型

touch /root/gradio_llava.py
import gradio as gr
from lmdeploy import pipeline, TurbomindEngineConfig


backend_config = TurbomindEngineConfig(session_len=8192) # 图片分辨率较高时请调高session_len
# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)

def model(image, text):
    if image is None:
        return [(text, "请上传一张图片。")]
    else:
        response = pipe((text, image)).text
        return [(text, response)]

demo = gr.Interface(fn=model, inputs=[gr.Image(type="pil"), gr.Textbox()], outputs=gr.Chatbot())
demo.launch()   
ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p 43158

10.2 使用LMDeploy运行第三方大模型

 

ModelSize
Llama7B - 65B
Llama27B - 70B
InternLM7B - 20B
InternLM27B - 20B
InternLM-XComposer7B
QWen7B - 72B
QWen-VL7B
QWen1.50.5B - 72B
QWen1.5-MoEA2.7B
Baichuan7B - 13B
Baichuan27B - 13B
Code Llama7B - 34B
ChatGLM26B
Falcon7B - 180B
YI6B - 34B
Mistral7B
DeepSeek-MoE16B
DeepSeek-VL7B
Mixtral8x7B
Gemma2B-7B
Dbrx132B

10.3 定量比较LMDeploy与Transformer库的推理速度差异

速度测试脚本

新建python文件，命名为benchmark_transformer.py

touch /root/benchmark_transformer.py

 

import torch
import datetime
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("/root/internlm2-chat-1_8b", trust_remote_code=True)

# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("/root/internlm2-chat-1_8b", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

# warmup
inp = "hello"
for i in range(5):
    print("Warm up...[{}/5]".format(i+1))
    response, history = model.chat(tokenizer, inp, history=[])

# test speed
inp = "请介绍一下你自己。"
times = 10
total_words = 0
start_time = datetime.datetime.now()
for i in range(times):
    response, history = model.chat(tokenizer, inp, history=history)
    total_words += len(response)
end_time = datetime.datetime.now()

delta_time = end_time - start_time
delta_time = delta_time.seconds + delta_time.microseconds / 1000000.0
speed = total_words / delta_time
print("Speed: {:.3f} words/s".format(speed))
python benchmark_transformer.py

 

touch /root/benchmark_lmdeploy.py

 

import datetime
from lmdeploy import pipeline

pipe = pipeline('/root/internlm2-chat-1_8b')

# warmup
inp = "hello"
for i in range(5):
    print("Warm up...[{}/5]".format(i+1))
    response = pipe([inp])

# test speed
inp = "请介绍一下你自己。"
times = 10
total_words = 0
start_time = datetime.datetime.now()
for i in range(times):
    response = pipe([inp])
    total_words += len(response[0].text)
end_time = datetime.datetime.now()

delta_time = end_time - start_time
delta_time = delta_time.seconds + delta_time.microseconds / 1000000.0
speed = total_words / delta_time
print("Speed: {:.3f} words/s".format(speed))
python benchmark_lmdeploy.py

 

shchojj
关注
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
engchina的专栏
07-13 1730
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
书生·浦语大模型实战营 第五节课 LMDeploy 量化部署 LLM 实践
weixin_45483762的博客
06-03 1080
我们可以使用KV8量化和W4A16量化。W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
第五课 LMDeploy 量化部署 LLM-VLM 实践
shafsyjwqt的博客
04-18 910
TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
（第5节）LMDeploy 量化部署 LLM 实践（基础+进阶）
H_1008的博客
06-13 1527
建议看视频前先把环境安装了，要不然又不知道空的那段时间干嘛了！
第五课 LMDeploy 量化部署 LLM 实践
luoganttcc的博客
10-30 941
W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。主要包括 KV8量化和W4A16量化。
第五课-LMDeploy 量化部署 LLM-VLM 实践笔记
weixin_51314534的博客
04-21 830
W4A16量化(AWQ):将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。知识蒸馏是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型，在不改变学生模型结构的情况下提高其性能。PTQ的主要目标是减少LLM的存储和计算复杂性，而无需对LLM架构进行修改或进行重新训练。量化技术将传统的表示方法中的浮点数转换为整数或其他离散形式，以减轻深度学习模型的存储和计算负担。
第五课-LMDeploy 量化部署 LLM-VLM 实践作业
weixin_51314534的博客
04-21 827
可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有数据集或者模型想对外分享，网盘又不太方便，就不妨托管在HuggingFace。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。
第五课 LMDeploy 量化部署 LLM-VLM 实践 笔记与作业
wudiyjnewway的博客
06-06 1081
LMDeploy简而言之，是一套解决大模型的量化、部署、服务的解决方案套件。核心功能：模型高效推理；模型量化压缩；服务化部署。本文介绍了LMDeploy的应用
第五节课——LMDeploy 量化部署 LLM 实践（笔记+作业）
qq_42866802的博客
06-10 398
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 757
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
【第5节】LMDeploy 大模型量化部署实践
熊猫小妖的AI世界
04-24 1465
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
LMDeploy 量化部署 LLM&VLM 实践
zhouyanzhong18的博客
04-12 694
3.以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。4.使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。2.设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。5.使用 LMDeploy 运行视觉多模态大模型 llava gradio demo （优秀学员必做）
「浦语大模型笔记五」lmdeploy大模型部署量化实践
ljn20001229的博客
01-23 1129
这节课讲解使用lmdeploy工具包对模型部署和量化的相关知识，主讲人是HuggingLLM负责人长琴，课程文档分享连接。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 1004
书生浦语LLM大模型教程
【anaconda】使用记录
最新发布
zhuyan108的博客
11-05 249
window11 下安装anaconda。
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1284
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
探索 Python 的新天地：Helium 库揭秘
AIGC搞起
11-04 655
在自动化测试和网页交互的领域，Selenium 是一个强大的工具，但它的复杂性和陡峭的学习曲线让许多开发者望而却步。Helium库的出现，以其简洁的 API 和易用性，为 Python 开发者提供了一个新的选择。它不仅简化了 Selenium 的使用，还自带 WebDriver，减少了配置的复杂性。Helium 以其简洁的 API 和易用性，为 Python 开发者提供了一个强大的 Selenium 替代方案。它不仅减少了代码量，还简化了 WebDriver 的管理，使得自动化测试和网页交互变得更加容易。
01_IAR新建CC2530工程
nanxl1的博客
11-02 1019
由于很多Zigbee商家提供的教程未有从零建立CC2530工程的讲解，可能会导致后面的开发中出现一些琐碎的问题。本文将以**LED流水灯**为例，从0到1用**IAR**建立CC2530工程。
Python小游戏21——拼图小游戏
cxh666888_的博客
11-05 862
如果图像大小不同，你需要调整tile_size和图像缩放代码。初始化Pygame：使用pygame.init()来初始化Pygame库，这是使用Pygame进行任何游戏开发的第一步。更新屏幕：使用pygame.display.flip()或pygame.display.update()来更新屏幕显示。调整图像大小：使用pygame.transform.scale()来调整图像的大小，以适应拼图游戏的需求。设置屏幕尺寸：使用pygame.display.set_mode()来设置游戏的屏幕尺寸和模式。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值