NVME硬盘如何使用Intel VROC创建RAID&各RAID级别FIO性能测试？

于 2024-07-25 00:00:00 发布
阅读量673 收藏 8
点赞数 16
分类专栏： 服务器&存储 文章标签： Intel VROC RAID 服务器 Linux FIO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/140520868
版权

一、Intel VROC（Virtual RAID on CPU）简介

® 英特尔 Virtual RAID on CPU （Intel® VROC） 是一种企业级基于CPU的虚拟化RAID技术解决方案，允许将多个NVMe盘组合成一个虚拟的RAID卷，VROC与传统的硬件RAID不同，NVMe* SSD 直接连接到 CPU，它通过与CPU紧密结合，利用计算机的处理器来实现RAID功能。VROC可以通过Intel VMD技术将多个NVMe盘分组，创建虚拟的Storage Device（VMD）卷，并提供硬件级别的RAID性能和可靠性。使用Intel VROC可以充分发挥NVMe盘的性能优势，同时提供更高的数据保护和容错能力。而传统服务器需要安装RAID（HBA）卡，才能实现这一功能，降低了成本、功耗。它能够满足对底层硬件性能要求较高的行业的需求，并为数据库等关键应用提供可靠而高效的存储解决方案。

在实现NVMe RAID功能时，确实需要使用VROC NVMe Key。这个Key是一个特殊的硬件密钥，可以激活VROC的NVMe RAID功能，使得用户可以使用软件方式对NVMe盘进行RAID管理。通过VROC NVMe Key，用户可以进行RAID配置，包括RAID级别、块大小、读写缓存等。通过利用CPU自身的计算能力和NVMe盘的高速读写能力，VROC可以提供比传统硬件RAID更高的性能和更强的容错能力。

1.1 支持的intel cpu

1.2 许可说明

 Intel®VROC (VMD NVMe* RAID)是通过平台提供商提供的许可机制在平台上启用的。使用的license SKU主要影响可用的RAID级别。以下英特尔®VROC许可sku可用:

 

二、配置介绍

1.1 环境信息

#

机型

配置

数量

备注

1

宁畅R620 G40

CPU：Intel(R) Xeon(R) Silver 4310 CPU @ 2.10GHz *1；

2

内存：HY HMA84GR7DJR4N-XN DDR4 32R 32G内存

4

主板：60WA32_U2_L_INF_UN_HT_RA4 2.0主板

1

nvme硬盘：IT SSDPF2KX038T1 3.84T 2.5-E4x4 R SSD

4

2

 intel VROC Hardware Key-VROCPREMMOD

1

#

软件名称

软件版本

用途

备注

1

OS

Centos8.9

操作系统

2

Bios

 
0PYH001052

4

BMC

2.35(PYH-C01-097-0000)

5

VROC KEY

7.8.0.1012

更多详细信息参考Intel官网 

英特尔® Virtual RAID on CPU （英特尔® VROC） 支持的配置 (intel.cn)

 1.2 环境搭建

1、将需要的 VROC Key 接入主板的 RAID_KEY 插槽中,VROC key为一个较小的部件4pin部件，该部件需要插入对应的标有VROC_KEY的端口，位于RISER_A和RISER_B之间，如下图

2、接入支持的硬盘设备并确保可正常识别

 二、服务器BIOS设置

1.如图 1-1 位置按 DEL 进入 setup 界面，进入 setup 界面

2.Socket configuration—>IIO Configuration，详见图 1-2

3.按下 ctrl+F11 进入高级模式，如图 1-3。

 4.进入 Intel VMD technology 配置页面

 5.启用对应 CPU 下的硬盘设备，如选择到SOCKET0,port 口与硬盘设备的对应关系可通过机器拓扑得到。如硬盘连接位置为CPU0的A至D，启用 CPU0的 VMD 控制器 IOU4 中对应 port 口，如图 1-5：

 

 6.启用热插拔功能，如图1-6

7.按下 F4 保存并退出，再次按下 DEL 进入 BIOS setup(UEFI 模式下)

三、使用VROC创建RAID

1.选择 Advanced-->Intel(R) Virtual RAID on CPU，如图2-1

 2.进入后即可查看 VROC 版本，如图 2-2

 3.选择进入 All Intel VMD Controllers 后可查看 VMD 下硬盘信息，以及组建 RAID。

4.选择Create RAID Volume 进行创建，这里以raid5为例，如图 

 

特别说明 

选项

功能

Name

对RAID 卷进行命名

RAID Level

选择组建的 RAID 等级，此处可选项与VROC key 的权限有关，本机可组建RAID 0,1,5,10

Enable RAID Spanned over VMD Controllers

允许跨 VMD 控制器组建 RAID，启用后，仅支持数据 RIAD，不支持引导

Select Disks

选择对应的硬盘

Strip Size

条带深度

Capacity

组建后的 RAID 容量

 

 

 

 

 

 

5.此处我们以 4 盘 RAID5 为例。点击YES进行确认 

6. 创建完成后，可在 VROC 内的”RAID Volume INFO”看到组建的 RAID，同时选中组建 RAID 成功的硬盘在 Non-RAID 标签下消失，

 7.系统下查看硬盘，命令lsblk，nvme0n1至nvme3n1 4块nvme盘共同组成raid5卷md126

8.查看md126信息，可看见当前raid组容量，状态为atcive，resyncing(激活，正在进行CC)，同步状态为71%，及组成该RAID的盘及各盘状态, 

9.CC完成后，状态会变为clean 

四、VROC RAID降级测试

方式1：手动将一块盘移除

1.将一块盘移除后，查看VROC信息，可以看到降级，一块盘被移除

 2.此时机器服务器红色报警灯会亮起

方式2：系统下将一块盘移除 

1.将一块盘从系统下，查看VROC信息，可以看到降级，

命令如下：

mdadm -f /dev/md126 /dev/nvme2n1

2.再次查看VROC信息，nvme2n1已被remove，

命令如下：

mdadm -D /dev/md126

3.错误示范：因nvme2n1盘在/dev/md126 控制下，所以需要改为mdadm -f /dev/md126 /dev/nvme2n1

 五、VROC RAID重建

1. 将移除的硬盘插回槽位，nvme盘约10s左右即上电，机器箱耳的报警灯接除红色报警,硬盘的locate等不会出现硬raid重建的locate灯闪烁的现象

2.BIOS下查看系统VROC进入重建状态， 

 3.系统下查看VROC状态，可以看到VROC处于降级重建状态

4.系统下查看VROC状态，可以看到VROC处于降级重建状态 

5.重建完成后，VROC会处于clean状态 

 六、删除VROC RAID

1.重启进入BIOS下，选择 Advanced-->Intel(R) Virtual RAID on CPU-->RAID5卷

 3.进入后，选择Delete，点击YES进行删除即可

 4.完成后，可以看到没有任何raid信息

5.完成后，保存，重新进入系统后，会发现进入维护模式,但raid5已清除

 6.此问题是当时做raid5以后进行了挂载

7.解决方法：将/etc/fstab 文件关于raid的信息删除即可,并将/data-nvme目录删除，

 9.Reboot即可

七、FIO测试

7.1 RAID10测试

初始状态

7.1.1 随机写测试

 fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwrite.log --output=rand_wirte.log --rw=randwrite --bs=64k --numjobs=4 --iodepth=2 -runtime=300

 测试结果：

w=3215MiB/s  w=51.4k IOPS

测试结果解读：

单个进程：写带宽798Mib/s.写IOPS:12.8k

总进程：总带宽3185MiB/s，整合该组中所有线程执行的 IO=933Gib

ios：所有线程组的 IO 数56/15284542

merge：IO 调度器执行的合并次数0/0

ticks：保持磁盘忙碌的 ticks 数11/2280227

in_queue：在磁盘队列中总耗时2280238

util：磁盘利用率100%

1MiB=1.048576MB

7.1.2  顺序写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=write.log --output=wirte1.log --rw=write --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

w=3249MIB/s , w=52.0k IOPS

7.1.3 随机读测试 

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=radnread.log --output=rand_read.log --rw=randread --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=2416MIB/s , r=38.7k IOPS

7.1.4 顺序读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=read.log --output=read1.log --rw=read --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=2314MIB/s , r=37.0k IOPS

 7.1.5 顺序读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=readwrite.log --output=readwrite.log --rw=rw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=1666MIB/s ,w=1668MiB/s r=26.7k IOPS w=26.7 IOPS

7.1.6  随机读写测试 

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwr.log --output=randreadwrite.log --rw=randrw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=1955MIB/s ,w=1979MiB/s ,r=31.7k IOPS w=31.7 IOPS

7.1.8 dd测试

time dd if=/dev/md126 of=/guazai/dd.dbf bs=4k count=1000000 oflag=direct

 7.2 RAID5测试（4块nvme）

初始状态

7.2.1  随机写测试 

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwrite.log --output=rand_wirte.log --rw=randwrite --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

w=692MiB/s , w=11.4k IOPS

7.2.2  顺序写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=write.log --output=wirte1.log --rw=write --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

w=1168MiB/s , w=18.4k IOPS

7.2.3  随机读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=radnread.log --output=rand_read.log --rw=randread --bs=64k --numjobs=4 --iodepth=2 -runtime=300

总读：17.7GiB/s  总写IOPS:289k

测试结果：

r=17.7GiB/s , w=289k IOPS

7.2.4 顺序读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=read.log --output=read1.log --rw=read --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=17.9GiB/s , r=293k IOPS

7.2.5  顺序读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=readwrite.log --output=readwrite.log --rw=rw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

r=1127MiB/s , w=1124MiB/s r=18.0k IOPS w=17.0k IOPS

7.2.6 随机读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwr.log --output=randreadwrite.log --rw=randrw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=747MiB/s,w=740MiB/s][r=11.0k,w=11.8k IOPS][eta 00m:00s]

 7.2.7  DD测试

time dd if=/dev/zero of=/bcd/dd.dbf bs=4k count=1000000 oflag=direct

7.3   RAID0测试

初始状态

7.3.1  随机写测试 

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwrite.log --output=rand_wirte.log --rw=randwrite --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[w=11.6GiB/s][w=191k IOPS]

7.3.2  顺序写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=write.log --output=wirte1.log --rw=write --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[w=9614MiB/s][w=154k IOPS]

 7.3.3  随机读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=radnread.log --output=rand_read.log --rw=randread --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=2362MiB/s][r=37.8k IOPS]

7.3.4  顺序读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=read.log --output=read1.log --rw=read --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=1829MiB/s][r=29.3k IOPS]

7.3.5 顺序读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=readwrite.log --output=readwrite.log --rw=rw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=1728MiB/s,w=1698MiB/s][r=27.7k,w=27.2k IOPS]

7.3.6 随机读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwr.log --output=randreadwrite.log --rw=randrw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=1911MiB/s,w=1939MiB/s][r=30.6k,w=31.0k IOPS]

7.3.7  DD测试

time dd if=/dev/md126 of=/guazai/dd.dbf bs=4k count=1000000 oflag=direct

7.4 RAID1测试

初始状态

7.4.1  随机写测试 

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwrite.log --output=rand_wirte.log --rw=randwrite --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[w=3375MiB/s][w=53.0k IOPS]

7.4.2 顺序写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=write.log --output=wirte1.log --rw=write --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[w=1276MiB/s][w=20.4k IOPS]

7.4.3 随机读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=radnread.log --output=rand_read.log --rw=randread --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=2325MiB/s][r=37.2k IOPS]

7.4.4  顺序读测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=0 --name=read.log --output=read1.log --rw=read --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=4731MiB/s][r=75.7k IOPS]

7.4.5  顺序读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=readwrite.log --output=readwrite.log --rw=rw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

测试结果：

[r=1442MiB/s,w=1448MiB/s][r=23.1k,w=23.2k IOPS]

7.4.6  随机读写测试

fio --ioengine=libaio --direct=1 --thread=1 --filename=/dev/md126 -allow_mounted_write=1 --name=randwr.log --output=randreadwrite.log --rw=randrw --bs=64k --numjobs=4 --iodepth=2 -runtime=300

 测试结果：

[r=1335MiB/s,w=1327MiB/s][r=21.4k,w=21.2k IOPS]

7.4.7 DD测试

time dd if=/dev/md126 of=/bcd/dd.dbf bs=4k count=1000000 oflag=direct

 

技术瘾君子1573
关注
  • 16
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
nvme linux raid,04-第4章-NVMe VROC Key&VROC NVMe RAID
weixin_42299310的博客
05-16 4357
4NVMe VROC Key&VROC NVMe RAID本节介绍位于如下设备上的NVMe VROC Key：·机架服务器·刀片服务器·计算节点Intel® VROC(Intel®Virtual RAID on CPU)，可以理解为建立在CPU上的虚拟RAID，是借助CPU实现RAID功能的上层管理方案。VROC NVMe RAID功能需要NVMe VROC ...
z370 raid linux,Intel也有黑科技：VROC(NVMe RAID)详解
weixin_33421411的博客
05-16 3659
原标题：Intel也有黑科技：VROC(NVMe RAID)详解作者 白丁给SSD Fans原创投稿技术或市场文章，拿>=100元稿费。原文链接：https://www.pcper.com/reviews/Storage/Intel-VROC-Tested-X299-VROC-vs-Z270-RST-Quad-Optane-vs-Quad-960-PRO这几个月以来,我们已经听说了英特尔的V...
【VROC】看Intel VROC如何给NVMe SSD做RAID
u012153104的博客
11-28 5702
在当今对硬盘性能要求越来越高的环境中，SATA和SAS接口由于自身的限制，其性能很难突破600MiB/s的瓶颈。因此，对于需要更高底层硬件性能的行业，如数据库等，对NVMe盘的需求越来越迫切。然而，NVMe盘直通到CPU，无法通过传统的RAID卡进行管理，这也意味着无法使用传统的RAID卡来创建不同的RAID级别。目前，有两种方式可以实现NVMe的RAID。一种是软RAID，另一种是Intel VROC（Virtual RAID on CPU）。
nvme硬盘--系统下做raid
最新发布
owlcity123的博客
06-05 252
【代码】nvme硬盘--系统下做raid。
nvme介绍及性能测试
01-29
nvme介绍
老主板支持NVME硬盘.docx
01-08
标题中的“老主板支持NVME硬盘”指的是将一块较旧的主板升级以兼容NVMe M.2固态硬盘。NVMe是一种高速接口协议，适用于M.2接口的固态硬盘，能够提供比传统SATA接口更高的读写速度，是现代高性能存储设备的首选。 ...
ESXI8.0带NVME驱动，可识别NVME固态硬盘
11-27
esxi8大部分nvme固态硬盘可以识别，本人多台all one设备安装后，均可正常使用。如果无法识别的固态硬盘，先进去电脑的BIOS看看是不是电脑主板本身兼容性不好不支持。
nvme_cli工具是用于对nvme盘进行测试的一款通用工具
03-21
1. **读写测试**：用户可以通过`nvme`命令进行读写测试，检查硬盘的I/O性能。例如，使用`nvme io-test`命令可以进行随机或连续读写操作，通过调整参数来设置测试的块大小、队列深度和持续时间，从而获得不同工作负载...
SPDK v22.09 完整源码 SSD NVMe/性能测试
04-05
SPDK是一款开源软件，通常可用于SSD NVMe协议或者读写性能测试。SSD不限于消费级、企业级或者数据中心级。 如果你对SPDK感兴趣，或者你是存储行业SSD的从业者，可以下载它来对SSD进行测试。SPDK自带一些简单的测试...
NVME固态硬盘驱动，包含镁光官网下载驱动以及直接打包其他电脑上正常运行的NVME硬盘的驱动
03-18
Intel Volume Management Device NVMe RAID Controller是一款用于管理NVME固态硬盘的组件，它允许用户创建RAID阵列以提高数据存储的可靠性和性能。此版本的驱动适用于64位操作系统，日期为2017年10月24日，版本号为...
intel-raid-for-3100 m3 RAID卡驱动
04-13
Intel 3100 M3 RAID卡支持多种RAID级别，包括RAID 0、RAID 1、RAID 5、RAID 6以及RAID 10等，每种级别都有其独特的优势和适用场景。例如，RAID 0可以提供更高的读写速度，而RAID 1则提供了数据镜像，确保在单个硬盘...
华南X79主板BIOS支持NVME固态硬盘
05-03
【华南X79主板BIOS支持NVME固态硬盘】这一主题涉及到计算机硬件中的主板、BIOS（基本输入输出系统）以及高速存储设备NVME固态硬盘的相关知识点。以下将详细解析这些概念及其相互关系。 首先，主板是计算机的核心...
win7 NVMe固态硬盘补丁
01-08
然而，许多用户仍然希望在他们的Win7系统中利用NVMe固态硬盘的高速性能。"win7 NVMe固态硬盘补丁"就是为了满足这一需求而开发的工具。 NVMe是一种高性能、低延迟的存储接口标准，用于连接PCIe（Peripheral ...
固态盘SSD NVME 固态盘硬盘修复工具软件大全
03-04
Innogrit nvme utility JMicronMaxiotekMaxio utility Marvell utility NVME utility Phison utility Realtek utility SandForce utility SMI utility Some results Some utility Yeestor(SiliconGo) utility ...
华硕老主板Z9PE-D8-WS加持NVME协议，支持nvme硬盘
05-13
标题中的“华硕老主板Z9PE-D8-WS加持NVME协议，支持nvme硬盘”指的是华硕的Z9PE-D8-WS主板通过更新BIOS固件，增加了对NVMe协议的支持，使得该主板能够识别并使用采用NVMe接口的高速固态硬盘。 NVMe（Non-Volatile ...
win7镜像添加usb3.0+nvme硬盘驱动
04-04
6. 使用该U盘在支持USB 3.0和NVMe的主板上启动安装Win7，此时系统应该能正确识别USB设备和NVMe硬盘。 通过以上步骤，你就能成功地在100系列及以上主板上安装Win7，并使USB 3.0和NVMe硬盘正常工作。确保在安装过程中...
11代CPU硬盘nvme固态驱动.zip
11-09
标题中的“11代CPU硬盘nvme固态驱动.zip”指的是与第11代中央处理器（CPU）兼容的NVMe固态硬盘驱动程序。NVMe（Non-Volatile Memory Express）是一种高速接口标准，用于固态硬盘，特别是PCIe SSDs，以提供更快的数据...
华硕B85M-F-PLUS主板支持NVME硬盘的BIOS
02-12
华硕B85M-F-PLUS主板支持NVME硬盘的BIOS程序，可在某宝买个CH341编程器刷进去，自带NVME添加文件和修改工具
请说明 NVMe 和 Intel Virtual RAID on CPU 的联系
06-10
NVMe（Non-Volatile Memory Express）是一种新型的高速存储接口协议，主要用于SSD（Solid State Drive）等非易失性存储器设备。NVMe协议使用PCIe总线，具有更高的带宽和更低的延迟，可以提供更好的存储性能。 Intel Virtual RAID on CPU（VROC）是一种Intel芯片组中的RAID技术，可以利用CPU的PCIe通道来创建高性能的RAID阵列。VROC技术可以在不需要其他硬件RAID卡的情况下提供高性能的RAID方案。 NVMe和VROC有联系是因为，利用NVMe设备的高速性能，结合VROC的RAID技术，可以实现更高效的存储解决方案。使用NVMe固态硬盘作为VROC阵列的成员，可以提供更高的存储性能，同时利用CPU的PCIe通道，避免了使用其他硬件RAID卡所带来的成本和复杂性。 需要注意的是，启用VROC功能时需要满足一定的硬件要求，如支持Intel Virtualization Technology（VT-x）的CPU、支持Intel Rapid Storage Technology（IRST）的芯片组等。此外，不是所有的Intel芯片组都支持VROC功能，具体支持情况可以查看相关的规格说明书。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值