KL散度、交叉熵与JS散度数学公式以及代码例子

已于 2022-09-08 09:42:32 修改
阅读量1.2w 收藏 43
点赞数 12
分类专栏： 深度学习 文章标签： javascript 机器学习 python
于 2021-03-28 22:16:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smileyan9/article/details/114986479
版权

KL散度、交叉熵与JS散度数学公式以及代码例子

1.1 KL 散度概述

KL 散度 ，Kullback-Leibler divergence，（也称相对熵，relative entropy）是概率论和信息论中十分重要的一个概念，是两个概率分布（probability distribution）间差异的非对称性度量。

对离散概率分布的 KL 散度 计算公式为：
K L ( p ∣ ∣ q ) = ∑ p ( x ) log ⁡ p ( x ) q ( x ) (1) KL(p||q)=\sum p(x)\log{{p(x)}\over{q(x)}} \tag{1} KL(p∣∣q)=∑p(x)logq(x)p(x)​(1)

对连续概率分布的 KL 散度 计算公式为：
K L ( p ∣ ∣ q ) = ∫ p ( x ) log ⁡ p ( x ) q ( x ) d x (2) KL(p||q)=\int p(x)\log {{p(x)}\over{q(x)}}dx \tag{2} KL(p∣∣q)=∫p(x)logq(x)p(x)​dx(2)

一般情况下，我们得到的数据都是离散的。

KL 散度 的重要性质：

  • KL 散度 的结果是非负的。
  • KL 散度 是非对称的，即 K L ( p ∣ ∣ q )   ! =   K L ( q ∣ ∣ p ) KL(p||q) \ !=\ KL(q||p) KL(p∣∣q) != KL(q∣∣p)

具体内容参考 [1] 《深度学习轻松学》。

1.2 KL 散度计算方法的代码实现

1.2.1 自己编写代码

请结合 公式 (1) 理解以下代码：

import numpy as np
import math

def KL(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log(_p/_q) for (_p,_q) in zip(p,q) if _p != 0 )

P = [0.2, 0.4, 0.4]
Q = [0.4, 0.2, 0.4]

print(KL(P,Q))

输出内容为：

0.13862943611198905

计算过程： K L ( P , Q ) = 0.2 ∗ log ⁡ 0.2 0.4 + 0.4 ∗ log ⁡ 0.4 0.2 + 0.4 ∗ log ⁡ 0.4 0.4 = 0.13862943611198905 KL(P,Q) = 0.2*\log{{0.2}\over{0.4}}+0.4*\log{{0.4}\over{0.2}}+0.4*\log{{0.4}\over{0.4}}=0.13862943611198905 KL(P,Q)=0.2∗log0.40.2​+0.4∗log0.20.4​+0.4∗log0.40.4​=0.13862943611198905

当然如果是 二分类问题 计算过程也是一样的。

import numpy as np
import math

def KL(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log(_p/_q) for (_p,_q) in zip(p,q) if _p != 0 )

P = [0, 1]
Q = [0.4,0.6]

print(KL(P,Q))

输出结果为：

0.5108256237659907

可以自己复制粘贴填写更多测试数值，需要 保证：

  • P 中每一组的各项的和为 1
  • Q 中每一组各项的和为 1
  • Q 中每一组不允许出现 0

注意： 以上内容只考虑维度为 1 的情况，如 P=[[0.1,0.2,0.7],[0.2,0.3,0.5]] 这种情况没有考虑到。

1.2.2 使用已存在的库 scipy

from scipy import stats

P = [0.2, 0.4, 0.4]
Q = [0.4, 0.2, 0.4]
stats.entropy(P,Q)

输出内容为：

0.13862943611198905

和上面的例子一样，可以测试那些数据。

2.1 交叉熵基本概述

交叉熵（Cross Entropy）是 Shannon 信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。

对 二分类 任务的 交叉熵 计算公式为：

C r o s s E n t r o p y   ( y , y ^ ) = − ( y ∗ log ⁡ ( y ^ ) + ( 1 − y ) ∗ log ⁡ ( 1 − y ^ ) ) (3) Cross Entropy\ (y, {\hat y}) = -(y*\log(\hat y)+(1-y)*\log(1-\hat y)) \tag{3} CrossEntropy (y,y^​)=−(y∗log(y^​)+(1−y)∗log(1−y^​))(3)
其中， y y y 可以理解为数据集中的 label，也就是接下来例子中的 y t r u e y_{true} ytrue​；而 y ^ \hat y y^​ 可以理解与模型的预测标签，也就是接下来的例子中的 y p r e d y_{pred} ypred​。

注意： 如果二分类问题时， y y y 的取值并非 [0,1] 两种这种正常模式，需要分别求和再求均值，这一部分内容将会在后面 2.3 进行讨论。

对 多分类 任务的交叉熵计算公式为：

C r o s s E n t r o p y   ( y , y ^ ) = ∑ y ∗ log ⁡ ( 1 y ^ ) (4) Cross Entropy\ (y, {\hat y}) = \sum y*\log ({{1}\over{\hat y}}) \tag{4} CrossEntropy (y,y^​)=∑y∗log(y^​1​)(4)
公式 4 可以写成如下格式：

C r o s s E n t r o p y   ( y , y ^ ) = − ∑ y ∗ log ⁡ ( y ^ ) (5) Cross Entropy\ (y, {\hat y}) = -\sum y*\log ({\hat y}) \tag{5} CrossEntropy (y,y^​)=−∑y∗log(y^​)(5)

其中， 多分类 任务的计算公式同样适用于 二分类 ，因为二分类任务直接等于两个概率运算的和，所以没必要加 ∑ \sum ∑ 符号。

2.2 交叉熵计算方法的代码实现

2.2.1 自己编写代码

参考 公式4 ，编写代码比较简单。

import math

def CE(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log( 1 /_q) for (_p,_q) in zip(p,q) if _q != 0 )

P = [0.,1.]
Q = [0.6,0.4]

print(CE(P,Q))

计算过程： C E ( P , Q ) = 0 ∗ log ⁡ ( 1 0.6 ) + 1 ∗ log ⁡ ( 1 0.4 ) = log ⁡ ( 2.5 ) = 0.91629073187415506518352721176801 CE(P, Q)=0*\log({{1}\over{0.6}})+1*\log({{1}\over{0.4}})=\log(2.5)=0.91629073187415506518352721176801 CE(P,Q)=0∗log(0.61​)+1∗log(0.41​)=log(2.5)=0.91629073187415506518352721176801

输出内容为：

0.9162907318741551

注意对比前文中对 KL 的实现的代码，非常相似，除了函数名就改动两个地方。

根据 公式5，代码实现如下：

import math

def CE(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return -sum(_p*math.log(_q) for (_p,_q) in zip(p,q) if _q != 0 )

P = [0.,1.]
Q = [0.6,0.4]

print(CE(P,Q))

输出结果为：

0.916290731874155

2.2.1 使用 tensorflow2

主要是因为使用 tensorflow 的时候可能会用到这个函数，所以特地在这里介绍一下计算过程。

注意 这里只适合 Binary 这种情况，也就是说标签只是 0 与 1 两种。具体参考 [3]

这里直接上例子，然后解释计算过程：

import tensorflow as tf

y_true = [0., 1.]
y_pred = [0.6, 0.4]
bce = tf.keras.losses.BinaryCrossentropy()
bce(y_true, y_pred).numpy()

输出内容为：

0.9162905

在官方文档中给出的例子有两组数据，代码如下：

import tensorflow as tf

y_true = [[0., 1.], [0., 1.]]
y_pred = [[0.6, 0.4], [0.4, 0.6]]
# Using 'auto'/'sum_over_batch_size' reduction type.
bce = tf.keras.losses.BinaryCrossentropy()
bce(y_true, y_pred).numpy()

输出内容为：

0.71355796

这种情况只是分别求两组结果，再进行平均即可。

2.3 当测试数据为全0或全1 的二分类时

上面的公式以及自己编写的代码中，都没有考虑到当测试数据为全0 或全 1 这种情况，接下来在这里讨论，在二分类问题中，应该如何计算结果。

C r o s s E n t r o p y   ( y , y ^ ) = − ( y ∗ log ⁡ ( y ^ ) + ( 1 − y ) ∗ log ⁡ ( 1 − y ^ ) ) (3) Cross Entropy\ (y, {\hat y}) = -(y*\log(\hat y)+(1-y)*\log(1-\hat y)) \tag{3} CrossEntropy (y,y^​)=−(y∗log(y^​)+(1−y)∗log(1−y^​))(3)
如 公式3 所示，在 输入数据的 y y y 为 [0,1] 两种时，使用 公式3,4,5 计算都可以。但是如果输入数据的 y y y 全部为 0 的时候，公式3 与公式4 则不适用。

这个时候需要使用 公式3 进行计算，并且同样需要做一次求均值，如 公式6 所示。

C r o s s E n t r o p y   ( y , y ^ ) = − 1 n ∑ i = 1 n ( y i ∗ log ⁡ ( y ^ i ) + ( 1 − y i ) ∗ log ⁡ ( 1 − y ^ i ) ) (6) Cross Entropy\ (y, {\hat y}) = -{{1}\over{n}}\sum_{i=1}^n(y_i*\log(\hat y_i)+(1-y_i)*\log(1-\hat y_i)) \tag{6} CrossEntropy (y,y^​)=−n1​i=1∑n​(yi​∗log(y^​i​)+(1−yi​)∗log(1−y^​i​))(6)

对应的代码实现如下：

import math

def CE(p,q):
    return -sum((_p*math.log(_q)+(1-_p)*math.log(1-_q) )for (_p,_q) in zip(p,q) if _q != 0 )/len(p)

P = [0.,0.]
Q = [0.6,0.4]

print(CE(P,Q))

输出结果为：

0.7135581778200728

计算过程： C E ( p , q ) = − 1 2 ( ( 0 ∗ log ⁡ 0.6 + 1 ∗ log ⁡ 0.4 ) + ( 0 ∗ log ⁡ 0.4 + 1 ∗ log ⁡ 0.6 ) ) = − 1 2 log ⁡ 0.24 = 0.71355817782007287419452065403584 CE(p,q)=-{{1}\over{2}}((0*\log 0.6 + 1*\log 0.4)+(0*\log 0.4+1*\log0.6))=-{{1}\over{2}}\log0.24=0.71355817782007287419452065403584 CE(p,q)=−21​((0∗log0.6+1∗log0.4)+(0∗log0.4+1∗log0.6))=−21​log0.24=0.71355817782007287419452065403584

对应的 tensorflow2 代码如下：

import tensorflow as tf

y_true =  [0., 0.]
y_pred = [0.4, 0.6]

bce = tf.keras.losses.BinaryCrossentropy()
bce(y_true, y_pred).numpy()

输出结果为：

0.71355796

如果测试数据为 [1.,1.] 的时候，输出结果是相同的。

3.1 JS 散度概述

JS 散度 Jensen-Shannon divergence 用于描述两个概率分布的相似程度。和上面的 KL 的描述一致的话，JS 散度是两个概率分布间差异的对称性度量。

JS 散度的求解公式如下：
J S ( P   ∣ ∣   Q ) = 1 2 K L ( P   ∣ ∣   P + Q 2 ) + 1 2 K L ( Q   ∣ ∣   P + Q 2 ) (7) JS(P \ ||\ Q ) = {{1}\over{2}}KL(P\ ||\ {{P+Q}\over{2}})+{{1}\over{2}}KL(Q \ ||\ {{P+Q}\over{2}}) \tag{7} JS(P ∣∣ Q)=21​KL(P ∣∣ 2P+Q​)+21​KL(Q ∣∣ 2P+Q​)(7)

很明显，等式是对称成立的，也就是说 J S ( P   ∣ ∣   Q ) = = J S ( Q   ∣ ∣   P ) JS(P \ || \ Q) == JS(Q\ ||\ P) JS(P ∣∣ Q)==JS(Q ∣∣ P)

3.2 JS散度计算方法的代码实现

公式7 是通过计算 KL 散度来计算 JS 散度的，因此代码实现需要用到前面的 KL 散度，具体实现如下：

实验 1

import math

def KL(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log(_p/_q) for (_p,_q) in zip(p,q) if _p != 0 )

def JS(p,q):
    M = [0.5*(_p +_q) for (_p,_q) in zip(p,q)]
    return 0.5*(KL(p,M)+KL(q,M))

P = [0.,1.]
Q = [0.6,0.4]

print(JS(P,Q))
print(JS(Q,P))

输出内容为：

0.27435846855026524
0.27435846855026524

可以看出 J S ( P , Q ) JS(P,Q) JS(P,Q) 与 J S ( Q , P ) JS(Q,P) JS(Q,P) 相等。

实验 2

接下来看一下两个概率分布差异大小在 JS 值上的直观反映：

import math

def KL(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log(_p/_q) for (_p,_q) in zip(p,q) if _p != 0 )

def JS(p,q):
    M = [0.5*(_p +_q) for (_p,_q) in zip(p,q)]
    return 0.5*(KL(p,M)+KL(q,M))

P = [0.,1.]
Q = [0.01,0.99]

print(JS(P,Q))

P = [0.,1.]
Q = [0.1,0.9]

print(JS(P,Q))


P = [0.,1.]
Q = [0.5,0.5]

print(JS(P,Q))

P = [0.,1.]
Q = [0.9,0.1]

print(JS(P,Q))

P = [0.,1.]
Q = [0.99,0.01]

print(JS(P,Q))

输出内容如下：

0.003478298769743019
0.03597375665014844
0.21576155433883565
0.5255973270178643
0.665096412549155

可以看出，最开始的数据两个概率分布是非常接近的，因为 JS 值比较小，接着两个概率分布差异越来越多，JS 值也越来越大。

实验 3

接着使用相同的数据，测试一下 KL 值的大小与概率分布的关系，因为 KL 计算是非对称的，因此每次需要输出两个结果。

import math

def KL(p,q):
    # p,q 为两个 list，表示对应取值的概率 且 sum(p) == 1 ，sum(q) == 1
    return sum(_p*math.log(_p/_q) for (_p,_q) in zip(p,q) if _p != 0 )


P = [0.1,0.9]
Q = [0.01,0.99]

print(KL(P,Q),KL(Q,P))

P = [0.1,0.9]
Q = [0.1,0.9]

print(KL(P,Q),KL(Q,P))

P = [0.1,0.9]
Q = [0.5,0.5]

print(KL(P,Q),KL(Q,P))

P = [0.1,0.9]
Q = [0.9,0.1]

print(KL(P,Q),KL(Q,P))

P = [0.1,0.9]
Q = [0.99,0.01]

print(KL(P,Q),KL(Q,P))

输出结果为：

0.14447934747551233 0.07133122707634103
0.0 0.0
0.3680642071684971 0.5108256237659907
1.7577796618689758 1.7577796618689758
3.8205752275831846 2.224611312865836

可以看出，当 P 和 Q 相同分布时，KL 散度为 0；KL 散度随着分布差异的增大而增大，随着分布差异的减小而减小。

小结

根据以上实验，可以看出：

  • 随着两个概率分布差异的增大，KL 散度与 JS 散度的数值将增大；反之亦然。
  • 随着两个概率分布差异的增大，KL 散度的增大时不均匀的，而 JS 散度的增大时均匀的。
  • KL 散度的不对称性可能带来一些潜在的问题。

4. 总结

本文总结了 KL 散度、交叉熵以及 JS 散度数学公式以及一些性质，并且通过 python 代码实现。在阅读论文或实际编码中，如果忘记了这方面的内容，可以考虑参考一下。

如有任何疑问，欢迎留言评论！

感谢您的阅读！如果有帮助到您的话，欢迎点赞 + 关注 ！感谢！

Smileyan
2021.3.28 22:15

[1] 《深度学习轻松学》核心算法与视觉实践 冯超著 电子工业出版社 P33
[2] 《相对熵（KL散度）计算过程》
[3] tensorlflow文档 tf.keras.metrics.BinaryCrossentropy
[4] 《熵与信息增益》
[5] 百度百科 相对熵 KL 散度
[6] 百度百科 交叉熵
[7] 熵与信息增益
[8] 二分类、多分类交叉熵的计算
[9] tensorflow BinaryCrossentropy 源码
[10] 知乎 为什么交叉熵（cross-entropy）可以用于计算代价？
[11] 交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）
[12] tensorflow官网 KL公式

信息论：信息量、信息熵（最短平均编码长度）、条件熵、交叉熵（用非真实分布信息量表示的平均编码长度）、相对熵/信息增益/KL散度=交叉熵-信息熵、JS Divergence、F-Divergence
u013250861的博客
12-29 1575
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。 在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 。 相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的.
深入详解人工智能数学基础——概率论中的KL散度在变分自编码器中的应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
04-24 356
Kullback-Leibler散度（KL散度），也称为相对熵，是衡量两个概率分布P和Q之间差异的非对称性指标。DKLP∥Q∑xPxlog⁡PxQx离散情况D_{KL}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} \quad (\text{离散情况})DKL​P∥Qx∑​PxlogQxPx​离散情况DKLP∥Q∫Pxlog⁡PxQxd。
信息量、香农熵、交叉熵、KL散度的意义
weixin_44883789的博客
06-19 1313
对于一个事件：信息量的计算公式：I(x)=log2(1p(x))=−log2(p(x))\begin{aligned} &I(x)=log_2(\frac{1}{p(x)})=-log_2(p(x)) \end{aligned} ​I(x)=log2​(p(x)1​)=−log2​(p(x))​举例：①均匀的硬币②不均匀的硬币：服从某一概率分布的平均信息量（期望），也是一种不确定度的计算方式。香农熵的计算公式：H(p)=∑piIip=∑pilog2(1pi)=−∑pilog2(pi)\begin{align
KL散度
caohao2008的专栏
10-27 1万+
KL散度，又称KL距离。 详情请见：http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence 下面是转载内容： =========================== KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一
KL散度（Kullback-Leibler Divergence，KLD）
weixin_44012667的博客
03-13 1919
对于两个离散概率分布。
KL散度详解
热门推荐
Eli_Code
04-07 3万+
1、KL散度的概念 2、两类KL散度拟合效果的定性分析 3、两类KL散度拟合效果的数学推导 4、KL散度的计算 5、KL散度 Python 实现 6、References
KL散度公式详解
山里娃的博客
09-01 7365
目录 文章目录Jensen's inequality讲解KL散度（又名relative entropy）mutual information Jensen’s inequality $f(\int\mathrm{x}p(x)dx)\leqslant\int\mathbb{f}(x)p(x)dx$,根据$f(E(x))\leqslant\mathbb{E}(f(x))$Jensen’s inequ...
KL散度（Kullback-Leibler Divergence）
最新发布
Rhett_Butler0922的博客
04-25 963
对于两个概率分布PxP(x)Px和QxQ(x)Qx，定义在相同的样本空间XX离散分布DKLP∣∣Q∑x∈XPxlog⁡PxQxDKL​P∣∣Q∑x∈X​PxlogQxPx​连续分布DKLP∣∣Q∫XPxlog⁡PxQxdxDKL​P∣∣Q∫X​PxlogQxPx​dxPxP(x)Px是真实分布（或目标分布）。Qx。
LK散度
04-11
用户可能还容易混淆KL散度与其他度量，比如交叉熵或JS散度，需要指出区别。例如，交叉熵是KL散度加上熵，而JS散度是对称的。这部分在引用[3]中有所涉及，可以引用。 最后，确保回答结构清晰，分点解释定义、计算...
机器学习与信息论之熵
花梦飞的博客
12-16 740
在机器学习中，我们经常提到熵的概念。例如我们经常使用交叉熵衡量目标（target）与预测值（real）之间的差距，使用KL散度（也称作相对熵）衡量两个概率分布之间的距离。交叉熵和相对熵这些概念其实都来自于信息论，并且自我认为机器学习本身也是对样本信息的学习，另外最近在研究GAN模型和VAE模型（也就是我们常说的生成模型）时，经常会使用到，所以有必要将其单独拿出来作为我学习的一个记录。 要了解交叉...
KL散度（相对熵）
weixin_45741070的博客
06-28 1912
KL散度（相对熵）1.定义2.非负性证明3.参考 1.定义 先给出公式： KL(p(x)∣∣q(x))=∫p(x)log⁡p(x)q(x)dx=∫p(x)log⁡p(x)dx−∫p(x)log⁡q(x)dx(1)KL(p(x)||q(x))=\int p(x)\log \frac{p(x)}{q(x)}dx=\int p(x)\log p(x)dx-\int p(x)\log q(x)dx\tag{1}KL(p(x)∣∣q(x))=∫p(x)logq(x)p(x)​dx=∫p(x)logp(x)dx−∫p(
JS散度
weixinhum
12-23 1万+
前面我们介绍了相对熵（KL散度）的概念，知道了它可以用来表示两个概率分布之间的差异，但有个不大好的地方是它并不是对称的，因此有时用它来训练神经网络会有顺序不同造成不一样的训练结果的情况（其实个人觉得也就是训练时间差异罢了，也没那么严重）。为了克服这个问题，有人就提出了一个新的衡量公式，叫做JSJSJS散度，式子如下： JS(P1∥P2)=12KL(P1∥P1+P22)+12KL(P2∥P1+P22...
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 2万+
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
【人工智能与深度学习】KL散度公式
weixin_44210987的博客
01-17 1196
当我们考虑两个分布时，概率比的对数（即 log(Q(x) / P(x) )提供了一个衡量从Q到P的视角下信息增益或惊讶度变化的方法。直观理解：最后，使用概率比可以提供一种直观的方式来理解一个事件在一个分布中的重要性相对于另一个分布的变化。如果你根据分布Q预测事件，而真实分布是P，KL散度就告诉你，平均而言，你的预测有多么“出乎意料”。其中 ( X ) 是所有可能事件的集合，( P(x) ) 和 ( Q(x) ) 分别是事件 ( x ) 在两个分布中的概率。P(x)−Q(x) 时，我们得到的是绝对差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smile-yan

感谢您的支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值