【论文阅读】Convolutional Sequence to Sequence Learning （未完待续）

最新推荐文章于 2024-09-03 11:05:38 发布
原创 最新推荐文章于 2024-09-03 11:05:38 发布 · 5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种使用CNN进行序列到序列处理的方法，并详细解释了其模型架构。相较于传统的RNN，该方法在大规模机器翻译任务中表现更优且更易优化。

论文github地址   值得阅读与一试：  https://github.com/facebookresearch/fairseq

以往谈到sequence  to sequence，往往会下意识地想到 RNN， 但这篇文章告诉我们，CNN 不仅可以做 sequence to sequence，不仅在大规模机器翻译的训练数据上结果比 RNN 要好，而且模型更加易于优化与加速。

好，下面开始谈 用 CNN 如何做 Sequence to Sequence：

模型架构如下：


首先 encode 层： 输入是词的嵌入Rf，先要做一层线性变换Rd，经过多层卷积之后（中间要做padding保证每次卷积过后的大小不会变化），再经过gated linear units （GLU）做一次非线性变换，得到输出仍是 Rd。 



词的嵌入与位置的嵌入，

Convolutional Sequence to Sequence Learning卷积序列到序列模型的学习
DongxueB的博客
06-12 1660
在本笔记本中，我们将实现论文Convolutional Sequence to Sequence Learning模型。这个模型与之前笔记中使用的先前模型有很大的不同。根本没有使用任何循环的组件。相反，它使用通常用于图像处理的卷积层。简而言之，卷积层使用了过滤器。这些过滤器有一个宽度(在图像中也有一个高度，但通常不是文本)。如果一个过滤器的宽度为3，那么它可以看到3个连续的标记。每个卷积层都有许多这样的过滤器(本教程中是1024个)。每个过滤器将从开始到结束滑过序列，一次查看所有3个连续的标记。...
Convolutional Sequence to Sequence Learning
ACM_hades的博客
12-15 1464
论文链接：https://arxiv.org/abs/1705.03122 一、模型框架(A Convolutional Architecture) 1、模型的整体架构图： 2、位置向量(Position Embeddings) 对于源句子：我们令源句子为 我们将其向量化为 其中 是词向量矩阵D中的一行。我们将X中的每个词的绝对位置编码成与词向量相同大小的位置向量： 。我们将X...
《Convolutional Sequence to Sequence Learning》 阅读笔记
weixin_45340809的博客
08-20 332
论文地址：Convolutional Sequence to SequenceLearning 代码地址：facebookresearch/fairseq 1. 为什么要选择 CNN 做机器翻译?  相比 RNN: CNN 能够并行处理数据，计算更高效; CNN 是层级结构，底层的CNN捕捉相聚较近的词之间的依赖关系，高层CNN捕捉较远词之间的依赖关系。 2. 模型 1. Position ...
机器翻译模型之Fairseq：《Convolutional Sequence to Sequence Learning》
热门推荐
技术成长笔记
11-04 1万+
近年来，NLP领域发展迅速，而机器翻译是其中比较成功的一个应用，自从2016年谷歌宣布新一代谷歌翻译系统上线，神经机器翻译（NMT，neural machine translation）就取代了统计机器翻译（SMT，statistical machine translation），在翻译质量上面获得了大幅的提高。目前神经机器翻译模型主要分为三种： 1. 一种是以rnn为基础的模型， 一般是LSTM...
【文献阅读】Convolutional Sequence to Sequence Learning
九筒的博客
03-19 884
Introduction 卷积神经网络在序列建模中不太常见 与循环层相比，卷积为固定大小的上下文创建表示，然而，网络的有效上下文大小可以很容易地通过将多个层堆叠在一起而变得更大 解决方案： 我们提出了一种完全卷积的序列到序列建模架构。 我们的模型配备了门控线性单元 (Dauphin et al., 2016) 和残差连接 (He et al., 2015a)。 我们还在每个解码器层中使用了注意力，并证明每个注意力层只会增加微不足道的开销。 RNN-Seq2Seq 已经提出了各种编码器-解码器架构，它们的主要
精选资源
Convolutional Sequence to Sequence Learning学习心得
01-07
1 为什么使用CNN学习序列表示 和RNN相比，CNN产生的背景向量固定 并且通过stacking 可以使 contex size 更大，如...Cho et al.,2014 解码器中目标序列中的任意一个词只考虑了编码器最终的映状态，即attend to 输入整 个
卷积序列到序列模型的学习（Convolutional Sequence to Sequence Learning）
赵小白的博客
12-25 2868
文章目录Introduction数据预处理搭建模型EncoderConvolutional BlocksEncoder的实现DecoderDecoder Convolutional BlocksDecoder的实现Seq2Seq训练模型推断BELU完整代码 在本笔记本中，我们将实现论文Convolutional Sequence to Sequence Learning模型。 Introduction 这个模型与之前笔记中使用的先前模型有很大的不同。根本没有使用任何循环的组件。相反，它使用通常用于图像处理
Sequence to Sequence Learning with Neural Networks，从RNN开始
Duncan_yitong的博客
11-26 1404
Sequence to Sequence Learning with Neural Networks，从RNN开始 ***Sequence to Sequence Learning with Neural Networks***这篇文章是Google在2014年发表的较早的使用了Seq2Seq结构的文章，实现了从输入序列映射到不等长的输出序列的学习，在机器翻译的任务中，取得了非常好的成绩。作者首先...
Sequence to Sequence Learning with Neural Networksv论文
04-17
Sequence to Sequence Learning with Neural Networksv论文PDF版
Sequence to Sequence Learningwith Neural Network
kuxingseng123的博客
10-16 1078
慢慢斟酌，将LSTM慢慢地将其搞定都行啦的样子与打算。 全部都慢慢的不断打磨和学习。
论文阅读：Sequence to Sequence Learning with Neural Networks
weixin_45459911的博客
06-07 1408
论文阅读：Sequence to Sequence Learning with Neural Networks 一、Abstract 先提DNN的缺点：不能用于将序列映射到序列。 于是这篇论文以机器翻译为例，首先通过一个多层的LSTM将输入的语言序列（源序列）转化为特定维度的向量，然后另一个深层LSTM将此向量解码成相应的另一语言序列（目标序列）。 网上的一种理解：假设要将中文翻译成法语，那么首先将中文作为输入，编码成英语，然后再将英语解码成法语。 这种模型与基于短语的统计机器翻译(Static Machi
Sequence to Sequence Learning with Neural Networks论文解读
m0_52775136的博客
09-03 985
使用两个LSTM网络，一个放到encoder里将输入序列映射为固定维度的向量表示，另一个放decoder里从该向量中解码出目标序列。（使用了具有4层的深度LSTM，每层有1000个单元和1000维的词嵌入，输入词汇量为160,000，输出词汇量为80,000）实现端到端的序列学习。深度神经网络（DNNs）是极其强大的机器学习模型，在诸如语音识别和视觉对象识别等难题上表现出卓越的性能。提高了翻译效率和速度，翻译质量超过了传统的基于短语的统计机器翻译系统。输入序列中的单词顺序颠倒，提高LSTM的性能。
《Sequence to Sequence Learning with Neural Networks》论文笔记
dingyi5625的博客
02-05 668
机器翻译论文笔记 （Sequence to Sequence Learning with Neural Networks） 一.摘要 此论文中，实现机器翻译的核心模型是长短期记忆神经网络(Long Short-Term Memory, LSTM)，首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为一个特定维度的向量，然后另一个深层LSTM根据此向量编译...
Convolutional Sequence to Sequence Learning笔记
poilkj110的博客
12-18 1523
摘要：序列到序列学习的流形方法映射输入序列到一个变长输出序列通过循环神经网络。我们引入一个完全依赖于卷积神经网络的架构。和循环模型相比，所有元素计算可以并行化更好利用GPU并且当非线性的两固定并不依赖于输入长度时更容易优化。 简介： 和循环层相比，卷积层对固定大小内容产生表达，网络可以用过用堆积层来扩大有效的内容大小。这允许去更精确地控制依赖的最大长度。卷积网络不依赖于之前时间步的计算因此允许在
Sequence to Sequence Learning with Neural Networks
weixin_42629959的博客
07-31 369
Sequence to Sequence Learning with Neural Networks summary 提出sequence to sequence的思想,使得翻译和被翻译的句子长度不限定 文章认为一个很有效的trick：将输入的句子单词逆序。对于<a,b,c><alpha,beta,gamma>的翻译对，将输入变换成<c,b,a><alpha,beta,gamma>对，a和alpha的距离更近，对于SGD更好的去建立连接。使得长句子的训练效果
Sequence to Sequence Learningwith Neural Networks
2302_79085918的博客
07-11 783
深度神经网络（DNN）非常强大，可以在困难的学习任务上取得非常优异的性能。尽管只要有大型标记训练集可用。DNN存在缺陷：不能用于将序列映射到序列。一种通用的端到端序列的学习方法，该方法对序列结构做出最少的假设，使用多层长短期记忆（LSTM）将输入序列映射到固定维度的向量，然后使用另一个深度LSTM从向量解码目标序列。结果：从WMT'14数据集的英语到法语翻译任务中，LSTM生成的翻译在整个测试集上的BLEU（评估质量）得分为34.8。
sequence to point
最新发布
02-08
### 序列到点（Sequence-to-Point）概念 序列到点模型是一种特定类型的机器学习框架，用于处理输入为一系列数据点而输出仅为单一点的情况。这种模式特别适用于那些需要从较长的时间序列或其他形式的数据集中抽取关键信息的任务[^1]。 在自然语言处理领域内，这类技术可用于文档分类、情感分析或是任何其他涉及将一段连续文本转换成离散标签的应用场景中。不同于传统的Seq2Seq架构——后者通常会生成另一个完整的序列作为输出结果；相反地，在这里目标仅限于预测单一值或类别标记[^5]。 ### 实现方式 为了实现这一功能，研究者们提出了多种不同的算法和技术手段： #### 基于神经网络的方法 一种常见的做法是利用深层前馈神经网络(Deep Feedforward Neural Network)，其中每一层都由多个全连接单元组成，并且随着层数加深逐渐减少节点数量直到最后一层只保留一个输出节点用来表示最终决策得分或者概率分布[^2]。 另一种更为先进的解决方案则是采用卷积神经网络(Convolutional Neural Networks, CNNs)来进行特征提取工作。相比于传统RNN/LSTM等循环结构而言,CNN不仅能够更好地捕捉局部上下文关联性而且还能显著提高运算效率支持大规模并行计算从而加速整个训练过程[^4]。 ```python import torch.nn as nn class SeqToPointCNN(nn.Module): def __init__(self): super(SeqToPointCNN, self).__init__() self.conv1d = nn.Conv1d(in_channels=..., out_channels=..., kernel_size=...) self.fc = nn.Linear(...) def forward(self, x): x = F.relu(self.conv1d(x)) x = F.max_pool1d(x, ...) x = x.view(-1, ...) # Flatten tensor before passing it through fully connected layer. output = self.fc(x) return output ``` 此代码片段展示了如何构建一个简单的基于一维卷积的操作来完成从序列向量映射至单独数值的过程。具体参数需根据实际应用场景调整设置。 ### 应用实例 非侵入式负荷监测是一个很好的例子，它涉及到从未知设备消耗电力的历史记录里识别出各个电器的工作状态变化时刻点。通过部署上述提到的技术方案之一即可有效地解决此类问题而不必预先定义复杂的规则集或者是手工挑选特征变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值