【LSTM介绍】LSTM变种、常用架构以及相关文献梳理

已于 2022-08-22 02:08:33 修改
阅读量1.3w 收藏 162
点赞数 37
分类专栏： 深度学习 文章标签： lstm
于 2022-04-21 18:23:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42554780/article/details/119354436
版权

文章目录

写在前面

现在网上关于LSTM原理介绍的文章非常多，但却很少有文章对LSTM的整个脉络进行系统的梳理。笔者阅读了大量的文章，对LSTM的变种以及常用的架构进行了系统的梳理，包括每种方法的主要改进点、应用领域、文献出处等，供各位参考学习。当然还有很多不足之处，后续如有其他内容还会继续补充。

LSTM变种

peephole connection

  • 增加“peephole connection"(窥探孔结构)
  • 让门层也接受细胞状态的输入
    在这里插入图片描述

论文：Gers, F. A. (1999): Learning to forget: continual prediction with LSTM. In : 9th International Conference on Artificial Neural Networks: ICANN '99. 9th International Conference onArtificial Neural Networks: ICANN '99. Edinburgh, UK, 7-10 Sept. 1999: IEE, pp. 850–855.

  • 缺点：一种启发式的改进方法，没有经过严谨的数学推导论证

coupled forgetting

  • 使用coupled忘记机制
  • 原始LSTM是分开确定需要忘记和添加的信息，这里是一同做出决定
    在这里插入图片描述

论文：Gers, F. A. (1999): Learning to forget: continual prediction with LSTM. In : 9th International Conference on Artificial Neural Networks: ICANN '99. 9th International Conference on Artificial Neural Networks: ICANN '99. Edinburgh, UK, 7-10 Sept. 1999: IEE, pp. 850–855.

GRU(Gated Recurrent Units)

  • 应用最广泛的LSTM变体之一
  • 门控数量减少到两个：复位门和更新门
    • 复位门：用于控制上一个时间戳的状态 进入GRU的量
      在这里插入图片描述
    • 更新门：用于控制上一时间戳状态 h t − 1 \bold h_{t-1} ht−1​和新输入 h ~ t − 1 \widetilde {\bold h}_{t-1} h t−1​对新状态向量的影响程度
      *

论文：Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014): Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. Available online at http://arxiv.org/pdf/1412.3555v1.

SRU(Simple Recurrent Units)

  • 去掉了对前后时刻输出 的计算依赖，实现多个时间步并行计算，相比原始的LSTM训练速度快若干倍
    *

Lei, Tao, et al. Training RNNs as Fast as CNNs. 2017. https://github.com/stefbraun/sru/blob/master/readme.md

ConvLSTM

  • 与CNN LSTM在LSTM层的前面堆叠CNN层不同，ConvLSTM实现的卷积内置的操作。
  • 为了构建时空序列预测模型，同时掌握时间和空间信息，将LSTM中的全连接权重改为卷积。
  • 用LSTM单元中每个门的卷积运算代替矩阵乘法。这样，它通过在多维数据中进行卷积操作来捕获基础空间特征。ConvLSTM和LSTM之间的主要区别在于输入维数。

在这里插入图片描述
ConvLSTM设计用于三维数据作为其输入，解决了传统LSTM单元不适用于视频，卫星，雷达图像等空间序列数据集的问题。

论文： Shi, Xingjian; Chen, Zhourong; Wang, Hao; Yeung, Dit-Yan; Wong, Wai-kin; Woo, Wang-chun(2015): Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting. Available online at http://arxiv.org/pdf/1506.04214v2.

ST-LSTM

  • 传统的ConvLSTM堆叠结构，层与层之间是独立的， t t t 时刻的最底层cell会忽略 t − 1 t-1 t−1 时刻最顶层cell的时空信息，并且层与层各cell之间的时空特征也没法传递。
  • 每一层与每一层之间，只是单纯的一步一步的往上抽象特征， cell states只在水平方向上进行传递。 也就是同层的不同时间步中会有记忆流的传递，同一时间步不同层之间的这些单元是相互独立的，并没有记忆流传递，那么这时候的空间信息只在hidden state上向上传递，假设万一 t t t 时刻最底层这个空间信息特别重要， 也没法把这一个单元的空间信息传递到 t t t 时刻最顶层的单元中去，因为垂直方向上的单元是独立的，不存在记忆。
    在这里插入图片描述
    为了解决这一问题，提出以下改进结构：Spatiotemporal memory flow。这种结构基于ConvLSTM单元应用了一个统一的时空记忆池，并改变了RNN的连接， 所有的LSTM共享一个统一的记忆流，并沿着"之"字形方向进行更新。具有时空记忆流的卷积LSTM单元的关键方程如下所示：
    在这里插入图片描述
    在这里插入图片描述

作者说这种时间记忆流在时空监督学习中是合理的，因为根据对叠加卷积层的研究，从底层向上隐藏的表示可以越来越抽象，越来越具有类特异性（监督学习中只需要预测类标签，越抽象越容易隐藏细节，越容易得到最终属于哪一类）。然而，我们在时空预测学习中，应该保持原始输入序列中的详细信息。如果我们想看到未来，我们需要学习在不同层次的卷积层中提取的表示。

以上的初步改进中，时空记忆单元以之字形方向更新，信息首先向上跨层传递，然后随着时间向前传递。但是这种结构仍然有缺点：

  1. 去掉了水平方向的时间流， 会牺牲时间上的一致性，因为在同一层的不同时间没有时间流了
  2. 记忆需要在遥远的状态之间流动更长的路径，更容易造成梯度消失。

所以作者想知道如果记忆流同时在水平和垂直两个方向传递会发生什么，就改进了传统的LSTM内部构造，引入了一个新的单元，称为ST-LSTM：
在这里插入图片描述

左边这个就是上面的ST-LSTM单元结构，右边的是普通的LSTM，你发现了吗？其实左图红框里面是两个完全一样的LSTM结构，只是下面的cell output和hidden state都由M代替了，其他的输出部分其实就相当于把两个LSTM结构的输出整合在一起分别输出计算了。 文中称左图的上半部分"Standard Temporal Memory", 下半部分称"Spatiotemporal Memory"。基于这个单元，形成了一个新的架构 PredRNN：
在这里插入图片描述

论文：Wang, Yunbo, et al. “PredRNN: Recurrent Neural Networks for Predictive Learning Using Spatiotemporal LSTMs.” NIPS’17 Proceedings of the 31st International Conference on Neural Information Processing Systems, vol. 30, 2017, pp. 879–888.

LSTM网络架构

Vanilla LSTMs

在这里插入图片描述

该架构多用做生成模型，通过利用大量现有的序列信息，一次一步地生成新序列。常用的领域有：

  • 生成维基百科文章（包括标点符号）
  • 生成计算机源代码
  • 生成文章标题
  • 生成手写字体
  • 生成音乐
  • 生成语音

Stacked LSTMs

当一层LSTM不够提序列特征时，可以尝试将多个LSTM堆叠起来，提取更加深层次的抽象特征。

在这里插入图片描述
在这里插入图片描述

CNN LSTMs

CNN LSTM架构的原理是：使用卷积神经网络（CNN）对输入数据做特征提取，并结合LSTM来支持序列预测。

在这里插入图片描述
常见的应用包括：

  • 活动识别：对一个序列的图片所显示的活动生成一个文本的描述。
  • 图像描述：对单个图片生成一个文本的描述。
  • 视频描述：对一个序列的图片生成一个文本的描述。

这种体系结构也被用于语音识别和自然语言处理问题，其中CNN被用作语音和文本输入数据上的LSTM的特征提取器。例如：
在这里插入图片描述

论文：Donahue, Jeff; Hendricks, Lisa Anne; Rohrbach, Marcus; Venugopalan, Subhashini; Guadarrama, Sergio; Saenko, Kate; Darrell, Trevor (2017): Long-Term Recurrent Convolutional Networks for Visual Recognition and Description. In IEEE transactions on pattern analysis and machine intelligence 39 (4), pp. 677–691.
DOI: 10.1109/TPAMI.2016.2599174.

Encoder-Decoder LSTMs

所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。
在这里插入图片描述

  • seq2seq：根据一个输入序列x，来生成另一个输出序列y。

    seq2seq有很多的应用，例如：

    • 翻译。输入序列是待翻译的文本，输出序列是翻译后的文本。
    • 文档摘取。
    • 问答系统。输入序列是提出的问题，而输出序列是答案。

该架构由两个模型组成：

  • 一个用于读取输入序列并将其编码为固定长度矢量
  • 第二个用于解码固定长度矢量并输出预测序列

该架构的名称为Encoder-Decoder LSTM，专门针对seq2seq问题而设计。
在这里插入图片描述

Bidirectional LSTMs

将前向的 LSTM 与后向的 LSTM 结合而成。
在这里插入图片描述
下面以识别"I love movies" 这句话为例。
在这里插入图片描述
从左到右的理解这句话，每个时刻都能得到 h L i h_{L_i} hLi​​隐层输出，从右到左的理解这句话，每个时刻都能得到 h R i h_{R_i} hRi​​隐层输出，而 Bi-LSTM 将每个时刻的正向和反向隐层输出进行了拼接，变成 [ h L i h_{L_i} hLi​​, h R i h_{R_i} hRi​​] ，来表示当前时刻的特征更加丰满的隐层输出。

可以这样理解：计算机只认二进制码，所以两种方向的阅读方式都不影响它对这句话的两个方向的“语义的理解”，尽管从右往左人类一般不认为有什么语义存在，当然计算机可能会按照从右到左的顺序理解到人类无法直接理解的字符搭配等其他深层次含义。所以双向的特征更加能捕捉到代表这句话的“语义”。

Attention LSTMs

  • 在输入层之间加Attention：
    在这里插入图片描述
  • 在输入层之后加Attention
    在这里插入图片描述

多种LSTM架构混合

将上面提到的多种LSTM架构进行组合来完成更加复杂的任务是现在比较常用的方法。以动作识别任务为例：
在这里插入图片描述
通过使用卷积神经网络 (CNN) 和深度双向 LSTM (DB-LSTM) 网络处理视频数据，提出了一种新的动作识别方法。

  1. 从视频的每六帧中提取深度特征，这有助于减少冗余和复杂性。
  2. 接下来，使用 DB-LSTM 网络学习帧特征之间的顺序信息，其中在 DB-LSTM 的前向传递和后向传递中将多个层堆叠在一起以增加其深度。

所提出的方法能够学习长期序列，并且可以通过分析特定时间间隔的特征来处理冗长的视频。

论文：Ullah, Amin; Ahmad, Jamil; Muhammad, Khan; Sajjad, Muhammad; Baik, Sung Wook (2018): Action Recognition in Video Sequences using Deep Bi-Directional LSTM With CNN Features.
In IEEE Access 6, pp. 1155–1166.
DOI: 10.1109/ACCESS.2017.2778011.

推荐文献（有开源代码的）

  • ON-LSTM

    • 简介: 设计了一个特殊的 LSTM 结构 ON-LSTM，使得模型可以将句子的层级结构给编码进去，从而增强了 LSTM 的表达能力。这篇论文也是 ICLR2019 的最佳论文。
    • 论文: Shen, Yikang; Tan, Shawn; Sordoni, Alessandro; Courville, Aaron (2018): Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks. Available online at http://arxiv.org/pdf/1810.09536v6.
    • 代码: https://github.com/bojone/on-lstm

  • LRCNs

    • 简介: 将 CNN 与 LSTM 结合, 提出了一种新的架构 LRCNs, 用于活动识别、图像字幕生成和视频描述。
    • 论文: Donahue, Jeff; Hendricks, Lisa Anne; Rohrbach, Marcus; Venugopalan, Subhashini; Guadarrama, Sergio; Saenko, Kate; Darrell, Trevor (2017): Long-Term Recurrent Convolutional Networks for Visual Recognition and Description. In IEEE transactions on pattern analysis and machine intelligence 39 (4), pp.ă677–691. DOI:10.1109/TPAMI.2016.2599174.
    • 代码: https://github.com/MRzzm/action-recognition-models-pytorch

  • Lattice LSTM

    • 简介: 使用 Lattice-LSTM 完成中文命名实体识别任务。
    • 论文: Zhang, Yue, and Jie Yang. “Chinese NER Using Lattice LSTM.”Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), vol. 1, 2018, pp. 1554–1564.
    • 代码: https://github.com/jiesutd/LatticeLSTM

  • Convolutional LSTM

    • 简介: 首次提出了 ConvLSTM，这种结构非常擅长捕捉空间关系，对时空序列预测的研究起到了非常关键的作用。该论文被引量高达三千多。
    • 论文： Shi, Xingjian, et al. “Convolutional LSTM Network: A Machine Learning Approach for Precipitation
      Nowcasting.”NIPS’15 Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 1, vol. 28, 2015, pp. 802–810.
    • 代码 (TensorFlow): https://github.com/loliverhennigh/Convolutional-LSTM-in-Tensorflow
    • 代码 (Torch): https://github.com/viorik/ConvLSTM

其他比较新的推荐的LSTM相关文献

  • Chanti, Dawood Al; Duque, Vanessa Gonzalez; Crouzier, Marion; Nordez, Antoine; Lacourpaille, Lilian; Mateus, Diana (2021): IFSS-Net: Interactive Few-Shot Siamese Network for Faster Muscle Segmentation and Propagation in Volumetric Ultrasound. In IEEE Trans. Med. Imaging, p.ă1. DOI: 10.1109/TMI.2021.3058303.
  • Pradhan, Tribikram; Kumar, Prashant; Pal, Sukomal (2021): CLAVER: An integrated framework of convolutional layer,bidirectional LSTM with attention mechanism based scholarly venue recommendation. In Information Sciences 559,pp.ă212235.DOI:10.1016/j.ins.2020.12.024. Location 1: Pradhan, Kumar et al 2021 - CLAVER An integrated framework.pdf
  • Zhang, He; Nan, Zhixiong; Yang, Tao; Liu, Yifan; Zheng, Nanning (2021): A Driving Behavior Recognition Model with Bi-LSTM and Multi-Scale CNN. Available online at http://arxiv.org/pdf/2103.00801v1.
  • Li, Fa; Gui, Zhipeng; Zhang, Zhaoyu; Peng, Dehua; Tian, Siyu; Yuan, Kunxiaojia et al. (2020): A hierarchical temporal attention-based LSTM encoder-decoder model for individual mobility prediction. In Neurocomputing 403, pp.ă153–166.DOI: 10.1016/j.neucom.2020.03.080.
  • Lin, Zhihui; Li, Maomao; Zheng, Zhuobin; Cheng, Yangyang; Yuan, Chun (2020): Self-Attention ConvLSTM for Spatiotemporal Prediction. In AAAI 34 (07), pp.ă11531–11538. DOI: 10.1609/aaai.v34i07.6819.
  • Wu, Xinyi; Wu, Zhenyao; Zhang, Jinglin; Ju, Lili; Wang, Song (2020): SalSAC: A Video Saliency Prediction Model with Shuffled Attentions and Correlation-Based ConvLSTM. In AAAI 34 (07), pp.ă12410–12417. DOI:
    10.1609/aaai.v34i07.6927.
  • Liu, Gang; Guo, Jiabao (2019): Bidirectional LSTM with attention mechanism and convolutional layer for text
    classification. In Neurocomputing 337, pp.ă325–338. DOI: 10.1016/j.neucom.2019.01.078.
  • Azad, Reza; Asadi-Aghbolaghi, Maryam; Fathy, Mahmood; Escalera, Sergio (2019): Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions. Available online at http://arxiv.org/pdf/1909.00166v1.
Juicy B
关注
  • 37
    点赞
  • 踩
  • 162
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
lstm+ctc+cnn架构，进行不定长度验证码识别
01-01
lstm+ctc+cnn架构，进行不定长度验证码识别，达到不分割字符而识别验证码内容的效果。验证码内容包含了大小字母以及数字，并增加点、线、颜色、位置、字体等干扰项。本项目对gru +ctc+cnn
RNN、LSTM及其变种1
08-03
1. 没有使用RNN，从固定大小的输入得到固定大小输出（比如图像分类） 2. 序列输出（比如图片描述，输入一张图片输出一段文字序列） 3. 序列输入（比如情感分
与LSTM有关的论文总览
weixin_45459911的博客
06-06 6601
在学习LSTM的时候，查阅了很多论文，将其分类整理于此，便于一些新学习LSTM的人据此寻找自己需要的论文。 （都是一些经典论文，不包含前沿论文） 1、序列预测问题 Sequence on Wikipedia. On Prediction Using Variable Order Markov Models, 2004. Sequence Learning: From Recognition and Prediction to Sequential Decision Making, 2001. Chapte
(转) 干货 | 图解LSTM神经网络架构及其11种变体（附论文）
a1424262219的博客
03-26 4192
干货 | 图解LSTM神经网络架构及其11种变体（附论文） 2016-10-02机器之心 选自FastML 作者：Zygmunt Z. 机器之心编译 参与：老红、李亚洲 就像雨季后非洲大草原许多野生溪流分化成的湖泊和水洼，深度学习已经分化成了各种不同的专门架构。 并且，每个架构都会有一个图解，这里将详细介绍它们。 神经网络在概念上很...
在预测中使用LSTM架构的最新5篇论文推荐
deephub
04-24 3548
1、Integrating LSTMs and GNNs for COVID-19 Forecasting Nathan Sesti, Juan Jose Garau-Luis, Edward Crawley, Bruce Cameron 将COVID-19的传播与图神经网络（GNN）的结合，使得最近几项研究发现了可以更好地预测大流行的方式。许多这样的模型还包括长短期记忆（LSTM），这是时间序列预测的常见工具。通过在LSTM的门内实施GNN并利用空间信息来进一步研究这两种方法的集成。并且引入了跳过连接，该
第三十四周：文献阅读+LSTM学习
m0_66015895的博客
12-10 1055
这周学习了RNN以及LSTM，不同于以往CNN等结构，RNN在全连接网络上加上了记忆功能，基础的神经网络只是在层与层之间建立了权值连接，而RNN在层之间的神经元之间也建立了权值连接，它能够处理序列变化的数据。而LSTM又在RNN的基础上加上了记忆定义的概念，在RNN中只会针对比较短的序列进行操作，而比较长的序列一般使用LSTM，LSTM适合处理序列中间间隔和延迟相对较长的问题，解决在长序列训练过程中梯度消失的问题，例如聊天机器人、语音识别等。
理解LSTM网络
Deep Learning and NLP Farm
11-16 3337
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
LSTM变种比较
weixin_37136725的博客
04-15 1万+
LSTM简介 LSTM(Long Short Term Memory)是在标准RNN基础上改进而来的一种网络结构，其出现的主要作用是为了解决标准RNN训练过程中的梯度消失问题，LSTM的结构如下图所示。因此其可以处理时间间隔和延迟较长的序列问题，近年来在语音识别，机器翻译，OCR等领域得到了广泛的应用并取得了比较可观的效果。 相比于标准RNN模型，LSTM主要是增加了三个控制门单元：遗忘门
LSTM模型理论总结（产生、发展和性能等）
kylieshou的博客
10-14 4155
转载自：https://blog.csdn.net/shincling/article/details/49362161 Proclaimation: 第一篇博客点击打开链接之后，对LSTM进行了一个较为深入的学习。首先从理论入手，深读了提出模型的原文，大概粗看了二十多篇Paper，关于RNN的问题的产生、LSTM模型的提出和原理，反传的推导之类，还有最近的LSTM的典型应用和性能分析等等。这个报告在
RNN模型与NLP应用笔记(4)：LSTM模型详解与完整代码实现
weixin_45012204的博客
05-09 6726
RNN模型与NLP应用笔记(04)：LSTM模型详解与完整代码实现：书接上回，本文开始讲解LSTM的基础内容，同时讲解使用Keras实现LSTM的关键代码以及完整实现。同样是参考李沐大佬和王树森教授的相关课程内容。
深入理解LSTM神经网络
热门推荐
Working. Playing.
05-06 4万+
LSTM核心思想及详细解读
Tensorflow v2 双向LSTM 完整模型架构文件
04-01
Tensorflow v2 双向LSTM完整模型 具有输入和输出 包括训练、预测、精度评估 具有三种模型精度评价指标 双向LSTM具有更强的稳定性、可靠性和精度
RNN和LSTM介绍1
08-08
二、RNN原理1.前向传播过程 初始化a，传入x，计算出a，利用a计算出y,计算方向为逆时针参数说明：g为激活函数，第一行常用ta
46_LSTM介绍理解1
08-03
介绍完RNN，下开始介绍正主。如上所说，LSTM是在RNN的基础上改进来的，解决的是序列数据训练过程中的梯度消失和梯度爆炸问题。LSTM 结构和普通 RNN 的
基于LSTM + ATTENTION+Pytorch模型架构实现的中文词义消歧项目源码+文档说明+数据集
最新发布
02-14
基于LSTM + ATTENTION+Pytorch模型架构实现的中文词义消歧项目源码+文档说明+数据集 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审...
多层LSTM,多层lstm与单层lstm区别,Python
09-10
使用的RNN中的LSTM进行对28个英文字母的简单文本预测
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，...
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一...
lstm图像分类_lstm图像处理_
09-30
pytorch库进行lstm图像处理，数据集为mnisit手写字数据。
go最好的微服务架构是什么？
06-11
Go 语言在微服务架构方面有很多成熟的框架和工具，最好的微服务架构因个人和团队需求而异。以下是一些流行的 Go 微服务架构： 1. Go kit Go kit 是一个微服务框架，它提供了一组微服务原语和工具，可以轻松地构建可维护、可扩展、可测试的微服务。它支持多种传输协议和服务发现机制。Go kit 还提供了许多插件和中间件，可以轻松地扩展和自定义。 2. Gin Gin 是一个轻量级的 Web 框架，可以用于构建高性能的微服务。它提供了路由、中间件、错误处理和模板等功能。Gin 还支持多种传输协议和服务发现机制。 3. Micro Micro 是一个分布式应用框架，可以用于构建微服务。它提供了服务注册、服务发现、负载均衡和消息传递等功能。Micro 还提供了插件和工具，可以轻松地扩展和自定义。 4. KrakenD KrakenD 是一个 API 网关和微服务框架，可以用于构建高性能的 API 服务。它提供了请求路由、负载均衡、缓存和认证等功能。KrakenD 还支持多种协议和数据格式，并提供了插件和中间件，可以轻松地扩展和自定义。 需要注意的是，选择最好的微服务架构取决于多个因素，包括需求、技能、团队规模和预算等。因此，建议根据具体情况选择最适合自己的框架。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Juicy B

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值