Language Modeling with Gated Convolutional Networks(句子建模之门控CNN）--模型简介篇

最新推荐文章于 2025-03-22 11:12:05 发布
最新推荐文章于 2025-03-22 11:12:05 发布
阅读量1.5w 收藏 32
点赞数 8
分类专栏： 深度学习 nlp 卷积神经网络-CNN 深度学习与NLP--论文笔记和TensorFlow实现 文章标签： cnn nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuchonge/article/details/70238350
版权
本文介绍了Gated CNN如何引入门控机制缓解梯度传播问题，相较于LSTM，模型更简单，收敛速度更快。通过堆叠CNN捕获长文本的高层特征，门控机制（GLU）控制信息传递，减少非线性操作，促进模型训练。实验展示了在WikiText-103和GBW数据集上的优秀效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近忙着实验室的项目，一直没有时间做仿真，所以就先写一下之前看的一篇文章，总结一下吧。这次要说的是Gated CNN，这也是第一次将门限控制引入到CNN中的文章，感觉十分有新意，效果也很棒。下面我们来看一下，文章的主要贡献包括：

  1. 提出一种新的门控机制
  2. 缓解梯度传播，降低梯度弥散等现象
  3. 相比LSTM，模型更加简单，收敛速度更快
    模型的结构图如下所示：
    这里写图片描述
    首先我们可以通过堆叠CNN来标识长文本，提取更高层、更抽象的特征，而且相比LSTM而言，我们需要的op更少（CNN需要O(N/k)个op，而LSTM将文本视为序列需要O(N)个op，其中N为文本长度，k为卷积核宽度），这样一来，我们需要的非线性操作也更少，有效地降低了梯度弥散的现象，使模型收敛和训练变得更加简单。此外，LSTM中模型下一时刻的输出依赖于前一个时刻的隐藏层状态，无法实现模型并行化。但是，CNN无需这种依赖，可以方便的实现并行化，从而实现计算速度的提升。最后，本文中提出的线性门控单元不仅有效地降低了梯度弥散，而且还保留了非线性的能力。接下来我们看一下模型的具体实现方法：
    从上图可以看出，其主要结构跟原始
最低0.47元/天 解锁文章
[论文笔记]Language Modeling with Gated Convolutional Networks
日积月累，天道酬勤
04-28 1566
⭐ GLU论文笔记：作者提出了门控线性单元，通过类似LSTM的门控机制，让每一层的输出在线性变换的基础上乘上门控来控制信息的传递。
Language Modeling with Gated Convolutional Networks
09-05
The pre-dominant approach to language model- ing to date is based on recurrent neural networks. In this paper we present a convolutional approach to language modeling. We introduce a novel gating mechanism that eases gradient propaga- tion and which performs better than the LSTM- style gating of Oord et al. (2016b) despite being simpler. We achieve a new state of the art on WikiText-103 as well as a new best single-GPU result on the Google Billion Word benchmark. In settings where latency is important, our model achieves an order of magnitude speed-up com- pared to a recurrent baseline since computation can be parallelized over time. To our knowledge, this is the first time a non-recurrent approach out- performs strong recurrent models on these tasks.
卷积新用之语言模型
雨石
02-12 8198
长期以来，基于LSTM的深度学习算法由于可以对任意长度的上下文进行建模而盘踞在自然语言处理界的山顶。卷积神经网络虽然蠢蠢欲动，却始终不得其法。 而今，这个在CV上嚣张拨扈的东西终于把手伸到了NLP界，而且是在最basic的语言模型问题上。
关于门控卷积小记
qq_45670407的博客
03-22 1077
什么是门控卷积
[论文阅读]Language Modeling with Gated Convolutional Networks
ZY_miao的博客
10-19 1651
目前主要建模的主要方法是基于循环神经网络（CNN），其在任务上的成功往往与其能够无限制捕获上下文信息的特性相关联。**在本文中，我们开发出一种通过堆叠卷积实现的有限上下文方法，由于其能够在符号序列上并行化，因而更加高效。 我们提出一种新的简单的门控机制，其性能优于Oord et al.(2016b)并研究了关键架构选择的影响。** 所提出的方法在WikiText-103基准数据集上取得了最先进的结果，同样地，在Google Billion Words（GBW）基准数据集上取得了具有竞争力的结果。相较于
Language Modeling with Gated Convolutional Networks(句子建模之门控CNN）--Tensorflow实现篇
呜呜哈的博客
04-20 5091
由于本篇论文所实现的任务十分耗时，我的小笔记本根本无法承受其计算量，而且他不像之前实现的模型都有明确的评价指标，所以并未亲自实现。在github上面找到了一个简化版的实现代码，该代码中在数据处理、模型评价等方面做了如下简化： Replace NCE loss with Adaptive Softmax. Remove restricted training on fixed sized senten
论文引介 | Language Modeling with Gated Convolutional Networks
人工智能
04-09 8519
文章原名：Language Modeling with Gated Convolutional Networks 作者：Yann N. Dauphin, Angela Fan, Michael Auli, David Grangier 单位：Facebook AI Research 译者：梁健楠 链接： https://arxiv.org/abs/1612.08083
Python-LanguageModelingwithGatedConvolutionalNetworks的Tensorflow实现
08-10
"Python-LanguageModelingwithGatedConvolutionalNetworks的Tensorflow实现"是一个项目，它利用TensorFlow框架来实现一种特殊的神经网络架构——门控卷积网络（Gated Convolutional Networks，GCNs）进行语言建模。...
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2551
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
[Paper note] Language Modeling with Gated Convolutional Networks
chn13的博客
01-05 1031
paper note for Gated Convolutional Network paper
论文阅读笔记- Language Modeling with Gated Convolutional Networks
mohen_777的博客
10-10 638
论文使用的是宽卷积对于文本长度更大的数据集而言，论文使用了更深的网络结构以获取其Long-Term记忆。提出一种基于线性门控单元（Gated Linear Units）的卷积网络并将其运用于语言建模。GLU在保持一定非线性能力的同时通过为梯度提供线性的传播路径使得在深度架构中能够有效减少“梯度消失”的问题。在GBW数据集上证明了该卷积网络性能优于其他语言模型：如LSTMs，并在段落数据集WikiText-103上验证了该模型处理长距离依赖（long-range depenencies）的能力。
Gated Convolutional Neural Network
01-21
Gated Convolutional Neural Network for Semantic Segmentation in High-Resolution Images
Gated-SCNN:用于语义分割的门控形状CNN的Tensorflow实现
05-04
用于Tensorflow 2.0中语义分割的门控形状CNN 的 。 开始是我学习tensorflow==2.2.0一种方式。 在CityScapes上的表现 执行 吝啬的 路 人行道 建造 墙 栅栏 极 红绿灯 交通标志 植被 地形 天空 人 骑士 车 卡车 公共汽车 火车 摩托车 自行车 纸 80.8 98.3 86.3 93.3 55.8 64 70.8 75.9 83.1 93 65.1 95.2 85.3 67.9 96 80.8 91.2 83.3 69.6 80.4 这个回购 77.7 97.8 83.2 92.4 55.8 59.8 64.4 67.6 77.5 92.4 63 94.9 81.9 63 95 80.8 86 78.3 65.2 77.1 安装 项目使用语义版本控制Maj.Min.
Language Modeling with Gated Convolutional Networks ( GLU )理解
lengxuelianhan的博客
02-26 4953
简介 门控线性单元（GLU）是卷积神经网络中的一种门控机制，与循环神经网络的门控循环单元（GRU）不同的的是更加进行梯度容易传播，不易造成梯度消失或者梯度爆炸。而且在计算时间上也大幅度减少。 GLU计算过程 卷积网络就是对输入进行卷积以获得H = f ∗ w，因此没有时间依赖性，这使得在句子的单个单词上更容易并行化。这个计算过程将根据多个先前单词来计算每个上下文。 与递归网络相比，上下文的大小是有...
tensorflow从入门到精通100讲（四）-细粒度的情感分析Gated Convolutional Networks
wenyusuran的专栏
09-30 1492
首先简要介绍一下基于Aspect的情感分析(Aspect based sentiment analysis——ABAS)，ABAS的主要任务：是判断句子所在的场景在某一方面的情感极性。举个例子，假如我们拿到一条餐厅评价文本数据如下：这家餐厅的环境还不错，可以菜做的不怎么样。 ABSA的任务就是去判断出下面两方面的情感极性： 1.在‘环境’这个aspect，文本的情感是积极的， 2.在‘做菜’这个aspect，文本的情感是消极的。 和普通的情感分析的不同点是，此类情感分析任务除了需要给出文本的情感极性，还
[论文] Aspect Based Sentiment Analysis with Gated Convolutional Networks
小小俊
08-31 2957
Aspect Based Sentiment Analysis with Gated Convolutional Networks   摘要： Aspect based sentiment analysis (ABSA) two subtasks: aspect-category sentiment analysis (ACSA) and aspect-term sentiment an...
[论文阅读]AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion
qq_41776136的博客
10-13 1284
最近，基于轻量化RGBD相机的单目视觉广泛用于各种领域。然而，受限于成像原理，通常使用的基于TOF，结构光或双目视觉的RGBD相机不可避免的会获取一些无效数据，例如弱反射，边界阴影和伪影，这些也许会给后续的工作带来消极的影响。在本文中，我们提出 了一个新的基于注意力指导的门卷积网络（AGG-Net）的深度图像补全模型，通过这种方法可以从原始的深度图像和对应的RGB图像获得更加准确和可靠的的深度图像。我们的模型使用了一个类U-Net架构，由两个平行的深度和颜色特征分支构成。
[Paper note] FlowNet: Learning Optical Flow with Convolutional Networks
chn13的博客
01-11 1471
paper note for FlowNet
GLU门控机制
最新发布
04-01
### GLU门控机制的工作原理 GLU（Gated Linear Unit）是一种带门机制的网络结构，最初提出于2016年的论文《Language Modeling with Gated Convolutional Networks》中[^1]。其核心思想是通过引入门控机制来控制信息流的比例，从而使模型能够自适应地选择哪些输入特征对当前任务更重要。 #### 工作原理 GLU 的基本公式定义如下： \[ y = A \odot \sigma(B) \] 其中： - \(A\) 和 \(B\) 是由输入经过不同的线性变换得到的结果； - \(\odot\) 表示按元素相乘（即哈达玛积）； - \(\sigma\) 是 Sigmoid 激活函数，用于生成门控信号。 具体来说，\(A\) 可以看作未加权的信息流，而 \(B\) 经过 Sigmoid 函数后生成一个权重矩阵，表示每个位置上允许多少比例的信息通过。这种设计使得 GLU 能够动态调整不同部分的重要性，类似于 LSTM 中的遗忘门和输入门的作用。 #### 实现方式 在实际应用中，GLU 通常作为卷积层或其他全连接层的一部分被集成到神经网络架构中。例如，在语言建模任务中，可以通过以下步骤实现 GLU： ```python import torch import torch.nn as nn class GLU(nn.Module): def __init__(self, input_dim, output_dim): super(GLU, self).__init__() self.linear_a = nn.Linear(input_dim, output_dim) self.linear_b = nn.Linear(input_dim, output_dim) def forward(self, x): a = self.linear_a(x) b = torch.sigmoid(self.linear_b(x)) return a * b ``` 上述代码展示了如何构建一个简单的 GLU 层。`linear_a` 和 `linear_b` 分别对应公式中的 \(A\) 和 \(B\) 部分，最后通过 Hadamard 积完成门控操作。 --- ### 应用场景 GLU 主要应用于自然语言处理领域以及涉及序列数据的任务中。以下是几个典型的应用场景： 1. **语言建模** 在语言建模任务中，GLU 结合卷积神经网络（CNN），可以高效捕捉局部上下文关系并减少计算复杂度。相比于 RNN 或 Transformer，GLU 提供了一种轻量级的选择。 2. **机器翻译** 对于需要精确控制信息流动的机器翻译任务，GLU 的门控特性有助于筛选重要词语及其对应的语义特征。 3. **语音识别** 类似于文本数据，音频信号也可以视为一种时间序列数据。因此，GLU 同样适用于端到端的自动语音识别系统中[^4]。 尽管 ReLU 等激活函数解决了传统 sigmoid 激活函数带来的梯度消失问题[^2]，但在某些特定情况下，GLU 所具备的显式门控功能仍然展现出独特的优势。 --- ### §相关问题§ 1. 如何比较 GLU 与 LSTM/GRU 的性能差异？ 2. GLU 是否可以在视觉任务中替代 CNN 使用？如果有成功案例，请举例说明。 3. SwiGLU 作为一种改进版 GLU，主要优化了哪些方面？ 4. 在大规模预训练模型中，GLU 的使用频率为何逐渐增加？ 5. 如果将 GLU 引入强化学习框架下，可能会带来哪些潜在好处？
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值