CXL Meta Data 介绍

已于 2023-08-09 13:38:26 修改
阅读量2k 收藏 14
点赞数 6
分类专栏： CXL 协议 文章标签： CXL
于 2023-07-20 23:23:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40357487/article/details/131841883
版权

🔥点击查看精选 CXL 系列文章🔥
🔥点击进入【芯片设计验证】社区，查看更多精彩内容🔥

📢 声明：

  • 🥭 作者主页：【MangoPapa的CSDN主页】。
  • ⚠️ 本文首发于CSDN，转载或引用请注明出处【https://mangopapa.blog.csdn.net/article/details/131841883】。
  • ⚠️ 本文目的为 个人学习记录 及 知识分享。因个人能力受限，存在协议解读不正确的可能。若您参考本文进行产品设计或进行其他事项并造成了不良后果，本人不承担相关法律责任。
  • ⚠️ 若本文所采用图片或相关引用侵犯了您的合法权益，请联系我进行删除。
  • 😄 欢迎大家指出文章错误，欢迎同行与我交流 ~
  • 📧 邮箱：mangopapa@yeah.net
  • 💬 直达博主：loveic_lovelife 。（搜索或点击扫码）

文章目录

在 CXL.mem 协议 M2S Req/RwD、S2M NDR/DRS Message 中均有两个 Meta Data 相关字段：Meta Field 及 Meta Value。关于 Meta Data，初读会较为费解，本文对 Meta Data 进行部分解读。


1. MetaData 概念

  Meta Data，元数据，描述数据的数据，用以描述数据的属性信息，便于对数据进行组织、查找和理解。如果把一本书的正文内容作为数据，那么该本书的书名、作者、出版社、目录、页码等信息都是元数据。

  再回到 Memory。我们知道，Cache 中的 Cacheline 有相关 Tag 来指示当前 Cacheline 的 Cache 状态，同样，内存中也可以有若干组 Meta Data 来描述当前 Data 的属性。

2. MetaData@CXL

  CXL 中的 Meta Data 可认为 Host 给 Device 的暗示信息，告知 Device 该 CacheLine 在 Host Cache 的当前状态，而非 Device Cache 内的状态，便于 DCOH 进行一致性相关操作。CXL Meta Data 相关操作是 CXL Memory 的一项可选属性，只对带有 CXL.mem 的设备有用，Type 1 CXL.cache 设备没有相关要求。CXL 链路中 Host 跟 Device 协商之后才能使用 Meta 相关操作，具体协商机制 CXL Spec 中未体现。

  对于 CXL Memory，每 64B 地址对齐的一组 64B Data 为 CXL.cachemem 访问的最小数据单位（下称 Data Line），最多支持 3 组 2b 的 Meta Data 对该 Data Line 进行描述（示意图如下）。

在这里插入图片描述

  为了支持 Meta 操作，在 CXL.mem 的 M2S、S2M 两个方向均支持 Meta 的传递，其中，M2S 方向的 Meta 信息由 Host 填充并更新到 Memory Meta 中（若有），S2M 方向的 Meta 信息为从 Memory 读出的该 Data 的 Meta Data 或由 DCOH 填充。具体而言，M2S Req/RwD、S2M NDR/DRS Message 中通过 Meta Field、Meta Value 两个字段来描述当前 Message 中的 Data。其中，Meta Field 相当于 Meta Entry，用以指示当前 Message 中所携带的 Meta Value 所属的 Meta ID；Meta Value 相当于 Meta Data 实体，携带有 Meta Field 所指向的 Meta Data 的值。

  截至 CXL 3.0，只用了 1 组 Meta Data 来指示当前 Data Line 在 Host 内的 Cache 状态，即 Meta Field 只在唯一特定值时其对应的 Meta Value 有效。MetaField=2’b00 表示 Meta0-State，2’b01/10->Reserved，2’b11->No-Op。当 MetaValue=Meta0-State 时，MetaValue 编码及释义如下：

  • Invalid（2’b00），Host 没有该 Cacheline 的副本，该 Cacheline 在 Host 内是 Invalid 的。DCOH 在收到该消息后可以授予 Device 对该 Cacheline 的独享权限。如果 MemOp=MemInv 且 SnpType=SnpInv，Device 应该把该 Cacheline Flush 到 Device Memory 中去，不然数据就丢了（双方都没有备份）。
  • Any（2’b10），Host 告知 Device 该 Cacheline 可能在 Host Cache 内有备份，状态可能为 MES，常用于获取 Cacheline 的 Exclusive 权限。Device 收到该通知后，大概能知道 Host 可能要更新这个 Line 了，Device 在解决跟 Host 的一致性之前不能创建副本。
  • Shared（2’b11），Host 告知 Device 该 Line 在 Host 内可能有状态为 Shared 的备份，能确定的是该 Line 在 Host 内非 ME 独享。Device DCOH 在不通知 Host 的情况下就可以搞一份状态为 Shared 的副本，但是想要独享的话，必须先解决跟 Host 的一致性问题。
  • Reserved（2’b01）。

  Meta Data 用以描述 Data 信息，但 Meta Data 能否随 Data 存储到 Memory 介质中取决于 Memory 介质对 Meta 的支持，即取决于 Memory 中有没有地方来存储这 2b 的 Meta Data。若 Device Memory 介质不支持 Meta Data 存储，DCOH 仍然需要通过 Host 发来的 Meta Data 来推测 Host 访问意图，且反馈给 Host 的 Rsp 中 MetaField 字段必须为 No-Op；若 Device Memory 介质支持 Meta Data 存储，DCOH 负责将 Meta Data 更新到 Memory 介质中，Host 也可以依据 Rsp 中的 Meta Data 来实现对 CPU Sockets 的 Coarse Snoop Filter。

  说到这里可能还不甚明了，Meta Data 到底有什么用呢？举个例子：对于 Multi-headed 的多 Host CXL 系统，MLD 内的某 Data Line 可能被缓存在了多个 Host 域的 Host Cache 内。当某个 Host 想要对该 Data Line 进行操作时，有必要在多个 Host Cache 之间实现缓存一致性。Host 如何知道该 Data Line 在多个 Host 域内的缓存情况呢？——看 Meta Data！Host 把该地址的 Meta Data 读回来，该 Data Line 的缓存情况便知一二。

3. CXL MetaData 用法

  对于 HDM-H 区域，只有 Host 可以访问该区域，Meta 的用法取决于 Host，本文不做过多解释；对于 HDM-D 或 HDM-DB 区域，DCOH 负责依据收到的 Req 中的 Meta 信息对 Host 发来的 Memory 访问意图进行推测、处理并反馈。

  Host 对 Device Memory 的访问主要是在 MemOp、Meta、SnpType 共同作用下完成的，MemOp 指定 Memory 操作类型，SnpType 指定对 Device Cache 的操作，MetaField/MetaValue 指示 Host Cache 的状态。下文以这几个关键要素为例，介绍几种 Memory 访问。下文中，若 MetaValue 为有效字段，则省略 MetaField=Meta0-State，以 Meta=xx 替代；若 MetaValue=No-Op，则以 Meta=No-Op 替代。

  • Host 想要获取 Device Memory 某 Data Line 的 Exclusive 权限，发送 MemOp=MemRd/MemInv/MemInvNT、SnpType=SnpInv、Meta=Any 的 M2S Req。对于 MemRd，需要有 Cmp-E 及 MemData 反馈给 Host；对于 MemInv*，则只需反馈 Cmp-E 无需反馈 MemData。
  • Host 想要获取 Device Memory 某 Data Line 的 Shared 权限，发送 MemOp=MemRd、SnpType=SnpData、Meta=Shared 的 M2S Req。Device 反馈 Cmp-S/E 及 MemData 给 Host。
  • Host 想要读取 Device Memory 某 Data Line 的数据且不会进行 Cache，发送 MemOp=MemRd、SnpType=SnpInv/SnpCur、Meta=Invalid 的 M2S Req。Device 反馈 Cmp 及 MemData 给 Host 并根据 SnpType 决定是否将 Device Cacheline 数据 Flush 到 Device Memory。
  • Host 想要将 Device Cache 内的 Cacheline Invalid 掉，发送 MemOp=MemInv、SnpType=SnpInv、Meta=Invalid 的 M2S Req。
  • Host 打算将 Host Cache 内的 Data Line 写回到 Device Memory，发送 MemOp=MemWr、SnpType=No-Op、Meta=Invalid/Any 的 M2S RwD。Device 反馈 Cmp 给 Host。

  对于 MemRdData 请求，若 Host 只想读取 Memory 的 Data，不涉及 Meta Data 的操作，Meta Field 应该置 Reserved。对于其他请求，若 MetaValue 为非 Reserved 的有效字段且 Device 支持 Meta 存储，Device 获取到 Memory Data 和 Meta Data 之后，还应将 Meta Data 写入 Memory 介质。

在这里插入图片描述

  上图中，左图为一次需要更新 Meta Data 的 MemRd 操作流程，右图为无需 Meta 操作的 MemRd 流程。

4. Q&A

  1. Meta 是什么？
    Meta 是 Data 的描述信息。M2S 中的 Meta 为 Host 给 Device 的暗示信息，告知 Device 该 Cacheline 在 Host 侧的 Cache 状态，而非 Device 内的状态，便于 DCOH 进行一致性相关操作；S2M 中的 Meta 用以描述该 Data Line 在若干 Host 内的缓存情况。

  2. S2M 的 Meta 是做什么的？
    指示当前 Data Line 在若干 Host 内的缓存状态，可用于粗粒度 Snoop Filter。

  3. 什么时候需要 Meta？其应用场景是怎样的？
    多用于 Multi-Headed 场景下某 Host 对 Data Line 的较粗粒度的 Snoop Filter。

  4. Meta Value 是怎么使用的？如何跟 Snoop、MemOp 配合的？
    MemOp 指定 Memory 操作类型，SnpType 指定对 Device Cache 的操作，MetaField/MetaValue 指示 Host Cache 的状态。

  5. Meta 操作跟 Snoop 操作有何却别？Meta 中的 Valid/Any/Shared 等等，跟 Snoop 有何区别？
    Snoop 的对象通常为 Host Memory 在 Device Cache 内的副本，由 Host 内的 SF 来管理一致性；Meta 操作的对象为 Device Memory，可以存储在 Memory 媒质中，由 DCOH 维护缓存一致性。

  6. 目前只支持一个 Meta 吗？预留了多个 MetaField 是打算做什么？
    目前只有一个 Meta，预留的 2 个 Meta 是描述更多信息，尚不明确具体意图。

  7. Meta 功能是必选的吗？是怎么协商的？
    是可选的。不支持 Meta 的话，M2S 的访问功能受限，比如 Host 在没有 Meta 的情况下无法指示 DCOH 以获取 Data Line Exclusive 权限。CXL3.0 Spec 中未指出具体协商机制。

  8. Meta Data 需要 Memory 的支持吗？
    需要 Memory 介质的支持。

5. 参考

  1. CXL Base Spec, r3.0
  2. 什么是元数据（Metadata）_steventian72 的博客-CSDN 博客

— END —

🔥 精选往期 CXL 协议系列文章，请查看【 CXL 专栏】🔥

⬆️ 返回顶部 ⬆️

移动端大模型终极优化：Llama.cpp+骁龙8Gen3部署实战
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
06-07 236
摘要：本文聚焦移动端大模型部署难题，深度解析基于Llama.cpp框架在骁龙8Gen3芯片上的工程化优化方案。通过4位量化技术（Q4_K_M）实现内存占用从13.2GB（FP16）骤降至4.8GB，端侧推理延迟从4200ms优化至980ms，在工业移动设备（如智能巡检终端）中实现零授权成本部署。文中提供完整的模型转换脚本、安卓NDK编译流程及语音交互代码示例，实测嘈杂车间环境下语音识别准确率达91%，响应延迟<1.2秒。方案适配骁龙NPU/GPU混合加速，为端侧大模型在工业、消费电子领域的规模化应用提供可复
Die to Die连接方式有哪些？
崖边垂钓者
07-26 2151
为实现这一目标，通常使用两种备选方案：通过部署每个通道具有非常高的数据速率（高达 112 Gbps）的 PHY，以最小化所需的通道数量，或者通过在大量并行化的低数据速率通道（高达 8 Gbps/通道）中使用更精细的凸点间距（微凸点）来增加 PHY 的密度，以实现所需的带宽。UCIe 互连将有两个版本——一个是用于 2D 封装的标准版本，在四个通道中最高可达 73 GB/s（或 0.073 TB/s），这比标准 PCIe Gen5 连接的管道更少。晶粒到晶粒链路使用短距离、低损耗的通道，没有明显的不连续性。
CXL-cxl.mem
m0_70772379的博客
09-04 1010
定义了CPU和内存之间的传输接口。当CPU和Mem位于不同的chip中，该通道走的是CXL的链路层和物理层，该协议可用于多个不同的内存连接选项，包括当内存控制器位于主机CPU中时，或当内存控制器位于加速器设备内时，或当内存控制器移动到单独的存储芯片时主机管理设备内存 (HDM) 地址区域提供 3种基本一致性模型：• HDM-H（仅主机相干）：仅用于第 3 类设备• HDM-D（设备一致性）：仅用于依赖 CXL.cache 管理与主机一致性的传统2 型设备。
CXL协议
qq_36421001的博客
04-20 965
CXL 是Intel最早在Interconnect Day 2019上提出，基于PCIe协议(PCIE 5.0 )，与PCIe标准插槽兼容，为了解决异构设备的缓存和内存访问的一致性问题，让设备（GPU/FPGA）的内存，服务器的内存和CPU的缓存在全局上可以被所有支持CXL协议的设备快速访问到[10]。因此，通过CXL接口使CPU与GPU、FPGA加速器进行通信，通过CXL接口无需进行地址映射等额外的内存管理操作，即可与FPGA和GPU进行通信，带来更高的数据访问效率和更低的局部数据访问延时。
meta-data介绍
grandgrandpa的博客
10-31 1万+
简介-meta是什么 meta-data是应用的清单文件AndroidManifest.xml中application,activity,activity-alias,provider,receiver,service下的子标签,比intent-filter多些父标签.像友盟这些统计服务一般只需要一个AppID等,只需要定义在Application中,如果你想给某个组件添加meta-data，那...
【CXL协议-事务层之CXL.mem（3）】
Summer的博客
03-26 2344
CXL 内存协议称为 CXL.mem，它是 CPU 和内存之间的事务接口。跨芯片通信时，它使用 Compute Express Link (CXL) 的物理层和链路层。该协议可用于多种不同的内存连接选项，包括当内存控制器位于主机 CPU 中时、当内存控制器位于加速器设备中时或当内存控制器移动到内存缓冲芯片时。它也适用于不同的内存类型（易失性、持久性等）和配置（平面、分层等）。CPU 中的一致性引擎使用 CXL.mem 请求和响应与内存 (Mem) 连接。
CXL 内存交织（Memory Interleaving）
MangoPapa
09-01 4944
Memory Interleaving，内存交织，是一种内存访问方法，其将一段连续的内存地址映射到不同的内存，通过在不同内存上交叉访问来提高内存访问性能。
Dify异步加载脚本：最佳实践让你的页面飞起来
[Dify异步加载脚本：最佳实践让你的页面飞起来](https://cxl.com/wp-content/uploads/2014/09/sync-async-loading.png) # 1. 异步加载脚本的概念与优势 在现代Web开发中，异步加载脚本已经成为提高页面加载速度和...
canal-adapter1.1.4同步mariaDB10.0.25 到elasticsearch7.9.3
chen_cxl的博客
12-23 991
application.yml server: port: 8081 spring: jackson: date-format: yyyy-MM-dd HH:mm:ss time-zone: GMT+8 default-property-inclusion: non_null canal.conf: mode: tcp # kafka rocketMQ canalServerHost: 192.168.0.202:11111 #canal 地
python HtmlTestRunner python2.x python3.x报告优化模板源码下载
热门推荐
weixin_30294021的博客
03-24 3万+
文件py压缩包下载地址https://files.cnblogs.com/files/SunshineKimi/HtmlTestRunner2.x_3%2Cx.rar 源码拷贝如下： python 2.x #-*- coding: utf-8 -*- """ A TestRunner for use with the Python unit testing framewo...
CXL_white_paper.pdf
05-03
CXL is an alternate protocol that runs across the standard PCIe physical layer CXL uses a flexible processor port that can auto-negotiate to either the standard PCIe transaction protocol or the alternate CXL transaction protocols Targets very high bandwidth with extremely low latency for .cache and .mem First generation CXL aligns to 32 GT/s PCIe 5.0 CXL usages expected to be key driver for an aggressive timeline to PCIe 6.0
CXL 2.0白皮书解读&翻译：计算快速链路，相对于CXL 1.1的改进，有哪些提升和要求
凌凌1301的博客
03-25 3195
以 130 多家成员公司证明的 CXL 的行业成功和接受度为基础，在积极参与的情况下，我们很高兴地宣布 CXL 2.0 的可用性，大约在 CXL 1.1之后一年，启用其他使用模型，同时保持与 CXL 1.1 和CXL 1.0。CXL在 CPU（主处理器）和任何内存之间保持一个统一的、连贯的内存空间，附加的 CXL 设备。一年半的时间，根据计算机的反馈，CXL C 联盟是行业和终端社区，我们正在努力实现 CXL 3.0 的下一个修订版，以包含更多用途并提供更高的性能。如图 2 所示的设备。
【CXL协议-系统架构】
Summer的博客
03-15 3747
CXL的关键目标是为主机提供一种将操作数推入设备挂载内存的方法，并为主机提供从设备挂载内存中提取结果的方法，这样就不会增加抵消加速器好处的软件和硬件成本。在设备偏向模式下，设备负责工作提交和完成。但是，设备对此内存的访问效率不是最佳的，因为需要通过主机，如图中的绿色箭头所示，设备先向主机发起请求，然后通过主机来访问HDM。总结来说，Type 1 CXL设备适用于具有完全一致性缓存的设备，通过支持基本缓存一致性和使用CXL.cache协议，加速器可以实现各种排序模型，并且能够执行大量的原子操作。
CXL概述（二）
这个地瓜真是甜啊
11-21 4391
CXL1.0 2.0. 3.0 差异对比，应用场景。CXL 提供内存一致性和内存语义(load/store)，其带宽可与 PCIe 带宽相匹配，同时延迟大大低于 PCIe。
CXL简介
maxwell2ic的博客
03-06 6847
本文对CXL做初步简介
CXL系统架构
weixin_46272787的博客
03-28 1506
CXL支持三种设备类型，如下图。Type 1支持CXL.cache和CXL.io；Type 2支持CXL.cache，CXL.mem和CXL.io；Type 3支持CXL.mem和CXL.io。无论哪种类型，CXL.io都是不可缺少的，因为设备的发现，枚举，配置等都是由CXL.io来负责。传统的非一致I/O设备主要依赖于标准的生产者-消费者订单模型（Producer-Consumer Ordering Model），并针对主机连接的内存执行。
下一代分层存储方案：CXL SSD
存储随笔
04-08 3939
此外，三星还在开发多款CXL方案，比如CXL DRAM (CMM-D)、CXL-PNM (CMM-DC)、内存语义SSD (CMM-H) 以及Smart SSD + CXL接口(I/F)计算(CMM-HC)均为CXL内存扩展和计算解决方案，这些都是三星内存实验室预测的产品。这一特性为降低固态硬盘（SSDs）的成本创造了机会，因为在“近内存”架构下，可以采用成本较低的存储介质，同时依然保证较高的性能水平，通过更好的资源搭配和层级设计，达到性价比最优的存储解决方案。这个跟三星的CMM-H TM类似。
CXL 概述
这个地瓜真是甜啊
07-08 2万+
CXL2.0 简介，对CXL简单介绍
CXL初探，why CXL?
HelloQili的博客
10-10 2700
CPU适合做控制密集型的任务，并不擅长进行大量的数据计算，因此现在主流的技术方案都是通过总线将加速器与CPU连接起来，CPU将计算任务提交给加速器，加速器完成计算后将计算结果返回给CPU。这里的加速器，可以是GPGPU, 可以是深度学习ASIC，也可以是FPGA之类的，总之就是专门为并行计算而生的数据计算引擎。如今许多与AI相关的芯片公司都是做这个的。 CPU与加速器是怎么连接的呢？ PCIe总线！ CPU与加速器之间的数据交互大致是怎么进行的呢？ 大致是基于Producer-Consumer模型，C
cxl gpf介绍
最新发布
03-13
<think>嗯，用户想了解CXL GPF技术的介绍和应用场景。首先，我需要回忆一下CXL和GPF的相关知识。CXL是Compute Express Link，一种高速互连协议，用于CPU与设备之间的通信，比如GPU、FPGA和内存扩展设备。而GPF可能是指General Purpose Flash或者某种通用功能结构？不过根据用户提供的引用内容，这里提到的GPF DVSEC结构，可能是指Generic Packet Format或者某种与GPF相关的控制结构。 用户提供的引用[1]提到GPF DVSEC用于CXL Port中的GPF相关能力，控制Phase1和Phase2的Timeout值。DVSEC是Designated Vendor-Specific Extended Capability，属于PCIe配置空间的一部分，用于扩展厂商特定的功能。因此，CXL GPF应该是指通过DVSEC结构实现的某种超时控制机制，用于管理CXL设备间的通信阶段。 接着，引用[2]和[3]提到CXL寄存器在PCIe配置空间的DVSEC中，以及CXL设备必须支持特定的协议。这说明GPF DVSEC是CXL协议中用于配置和管理设备通信的重要部分，可能涉及到错误处理、超时控制等机制。 应用场景方面，CXL主要用于高性能计算、内存扩展和异构计算。GPF技术可能在这些场景中用于确保通信的可靠性和及时性，比如防止因设备响应超时导致的系统挂起或性能下降。例如，在内存扩展设备中，GPF的超时控制可以优化数据传输，确保在预定时间内完成操作，提升系统整体效率。 需要确认的是GPF具体代表什么。根据引用内容，GPF DVSEC控制Phase1和Phase2的Timeout，可能是指GPF协议中的不同阶段，或者某种分阶段的操作流程。这可能涉及到CXL链路训练、错误恢复流程中的阶段管理，确保各阶段在规定时间内完成，避免无限等待。 总结来说，CXL GPF技术是通过DVSEC结构对CXL端口和设备中的通用功能进行配置，特别是超时控制，以增强通信的可靠性和系统稳定性。应用场景包括高性能计算、内存池化、AI加速等需要高效互连和可靠通信的领域。</think>### CXL GPF 技术介绍 CXL GPF（Generic Packet Format）是CXL协议中用于管理和控制设备通信的重要机制，通过**DVSEC（Designated Vendor-Specific Extended Capability）**结构实现。其核心功能包括： 1. **超时控制**：管理CXL链路通信中Phase1（初始协商）和Phase2（数据传输）的超时阈值，确保设备在异常情况下及时恢复或报错[^1]。 2. **协议扩展支持**：在PCIe配置空间中定义专用寄存器，兼容CXL.cache和CXL.mem协议，支持设备与CPU间的高效数据共享与一致性管理[^2][^3]。 ### 技术实现 - **寄存器布局**：GPF DVSEC在CXL Port和Device中分别定义，例如： - `Phase1 Timeout`：控制链路初始化阶段的超时时间。 - `Phase2 Timeout`：管理数据传输阶段的响应超时。 - **兼容性要求**：CXL设备必须通过Non-CXL Function Map寄存器明确声明对CXL协议的支持，避免功能冲突。 ### 应用场景 1. **高性能计算（HPC）**： 在GPU/FPGA加速场景中，GPF超时控制可优化内存访问延迟，避免设备因通信阻塞导致计算任务中断。 2. **内存池化**： 当多台主机共享CXL扩展内存时，GPF机制确保内存访问请求在超时阈值内完成，提升资源利用率。 3. **AI推理加速**： 针对大规模模型参数同步，Phase2超时配置可平衡吞吐量与容错需求，减少系统级延迟。 ### 示例：GPF超时配置 ```plaintext GPF DVSEC寄存器布局示例： Offset 0x0C: Phase1 Timeout (单位：ms) Offset 0x10: Phase2 Timeout (单位：ms) ``` 通过调整上述值可适配不同负载的容错需求，例如高实时性场景需缩短Phase1超时。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MangoPapa

请作者喝瓶可乐吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值