NLP-07-Deep nmt 学习笔记

最新推荐文章于 2021-10-18 13:26:06 发布
最新推荐文章于 2021-10-18 13:26:06 发布
阅读量202 收藏
点赞数
分类专栏： 论文阅读总结 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44285710/article/details/108111265
版权

标题：Sequence to Sequence Learning with Neural Networks

发表期刊：NIPS-2014

 

1、背景介绍

1.1、机器翻译评价指标：BLUE

1.2、seq2seq模型

2、模型结构

模型的encoder和decoder部分分别采用两个四层的LSTM，每个时间步输入一个词，最终encoder获得一个固定维度的向量作为整个句子的表示；随后decoder对向量进行解码获得句子翻译的结果

2.1、三点tricks

  • 对于encoder和decoder，采用不同的LSTM
  • 深层的LSTM比浅层的LSTM效果好
  • 对源语言进行倒序输入会大幅提升翻译效果

2.2、Beam search

核心思想为在预测时保留B个可能性最高的词进行下一步的预测，最终挑选最优的结果

2.3、模型及训练细节

  • 每层LSTM使用1000个神经元
  • 采用1000维的词嵌入
  • 使用8000维向量表示一个句子
  • LSTM所有参数使用[-0.08,0.08]的均匀分布进行初始化
  • 初始学习率为0.7，5个epoch之后，每经过0.5个epoch学习率减半，一共训练了7.5个epoch
  • 128个句子作为一个batch进行训练
  • 对进行长度进行的排序，使得一个batch中的句子长度相当，速度提升2x

 

3、实验结果及分析

4、代码实现

5、论文总结

本文为深度之眼paper论文班的学习笔记，仅供自己学习使用，如有问题欢迎讨论！关于课程可以扫描下图二维码

 

小杰.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
deep_nmt(seq2seq)（iwslt数据集---机器翻译）
weixin_42318554的博客
03-08 2205
文章目录deep_nmt(seq2seq)一、文件目录二、语料集下载地址（本文选择AG）三、数据处理(AG_Dataset.py)四、模型（Fasttext.py）五、训练和测试实验结果 deep_nmt(seq2seq) 一、文件目录 二、语料集下载地址（本文选择AG） https://wit3.fbk.eu/2014-01 三、数据处理(AG_Dataset.py) 1.数据集加载 2.读取标签和数据 3.创建word2id（源语言和目标语言）    3.1统计词频
NLP论文学习笔记-deepnmt
lzj50002801的博客
08-09 418
论文题目：Sequence to Sequence Learning with Neural Networks 论文作者：Ilya Sutskever(Google) 发表时间： NIPS 2014 评价方法：BLEU 背景：机器翻译需要人工翻译打分，成本太高，速度慢；所以提出了一种机器自动评价的方法； 出处： a Method for Automatic Evaluation of Machine Translation, 2002 1-GRAM: p1=Countclip(the)Cou
tensorflow nmt源码解析
stupid_3的博客
01-02 2962
Tensorflow nmt源码解析 声明 本系列博客由 罗周杨 stupidme.me.lzy@gmail.com 原创，同步更新在多个平台，包括： csdn/stupid_3 github/luozhouyang 分享或转载请注明作者和原出处。　　 NMT即Neural Machine Translation，神经网络机器翻译。Google开源的tensor
nlp-baseline 7：deep NMT
sirlb2013的博客
08-04 348
博客转载自如下地址：[https://blog.csdn.net/oldmao_2001/article/details/102653672]（https://blog.csdn.net/oldmao_2001/article/details/102653672）
NLP十大Baseline论文简述(七) - deep_nmt
扇扇子的炼丹师
10-18 265
文章目录前言：1. Paper：2. BlEU介绍3. 背景介绍4. 论文摘要5. 研究意义 前言： 如果需要对基础概念不了解，可以参考这里。我汇总了论文中涉及的大部分概念，以便更好的理解论文。 1. Paper： Sequence to Sequence Learning with Neural Networks 使用神经网络来做序列到序列的学习 2. BlEU介绍 如何评价机器翻译结果的好坏 人工评价：通过人主观对翻译进行打分 优点：准确 缺点：速度慢，价格贵 机器自动评价： 通过设置指标对机器翻译结果
nlp-python-deep-learning:Python与深度学习中的NLP
05-14
自然语言处理笔记本 可作为书籍使用： 为实践工程师而写 这项工作建立在自然语言处理方面的杰出工作的基础上。 这些范围从Jurafsky的语音和语言处理之类的经典作品到Ian Goodfellow等人在《深度学习书》中相当现代的...
基于 Tensorflow，仿 Scikit-Learn 设计的深度学习自然语言处理框架
最新发布
06-06
【作品名称】：基于 Tensorflow，仿 Scikit-Learn 设计的深度学习自然语言处理框架 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 ...
Deep-Learning-NLP:自然语言处理中深度学习的组织资源
04-14
用于自然语言处理的深度学习 有关该体系结构的详细说明，请阅读。 允许使用带有适当归属的该存储库代码：如果发现有用，请引用该论文。 @article{torfi2020natural, title={Natural Language Processing ...
NLP-with-Deep-Learning:斯坦福CS224n的自学笔记和代码
03-20
《深度学习驱动的自然语言处理：斯坦福CS224n自学笔记与代码解析》 在当今信息爆炸的时代，自然语言处理（NLP）已成为人工智能领域的重要分支，它旨在让计算机理解和生成人类语言，实现人机之间的高效沟通。斯坦福...
自然语言炼丹之路（三之七）筑基丹seq2seq&deep_nmt
beilop的博客
01-10 347
Sequence to Sequence Learning with Nerual Networks 使用神经网络学习序列到序列的任务 例如机器翻译、摘要生成、机器对话、阅读理解等都是输入一个序列（句子、短语等），输出一个序列（句子、短语等）的任务，也可以说是序列生成任务或者Encoder——Decoder任务。本篇主要是在机器翻译上的工作。 这篇文章是谷歌的ilya Sutskever在2014年发在NIPS上的。 文章目录Sequence to Sequence Learning with Nerual
NLP-01-word2vec 阅读笔记
weixin_44285710的博客
08-13 2460
发表期刊：EMNLP 2014 单位：斯坦福大学 1.1、文章摘要： 当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律，但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析，我们发现了一些有助于这种词向量规律的特性，并基于词提出了一种新的对数双线性回归模型，这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.
NLP-03-character embedding（C2W） 阅读笔记
weixin_44285710的博客
08-15 1785
论文题目：Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation 发表期刊：2015-EMNLP 单位：卡纳基美隆大学 1、背景介绍 向量的学习对于自然语言处理的应用非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。【背景介绍】 但是词向量机制中的词和词之间是独立的，这种独立性假设是有问题的，词之间形式上的相似性会一定程度造成功能的相似性，尤..
CV-01-AlexNet学习笔记
weixin_44285710的博客
04-03 970
包含卷积尺寸计算方法
NLP10-SGM-论文学习笔记
weixin_44285710的博客
08-28 908
论文题目：SGM: Sequence Generation Model for Multi-Label Classification 发表期刊：2018-Coling Bestpaper 多标签分类：The target of the MLC task is to assign multiple labels to each instance in the dataset 1、相关工作 将多标签分类问题看做是一个链式的二分类问题 也采用了序列生成的方式，但没有采用注意力机制，获得的提...
Pretrained-model-01-Transformer论文阅读笔记
weixin_44285710的博客
08-31 713
论文题目：Attention Is All Y ou Need 发表会议：2017-NIPS 1、背景知识 1.1、翻译效果评价指标BLUE 参考博客： https://blog.csdn.net/guolindonggld/article/details/56966200 主要讲解BLUE在nltk中的实现 https://blog.csdn.net/jkwwwwwwwwww/article/details/52846728 from nltk.trans...
CV-02-VGG论文阅读总结
weixin_44285710的博客
04-09 643
1、数据 输入：224*224 RGB彩色图像 预处理：对图像的每个像素做了减去均值的操作。 数据增强：随机水平翻转和随机RGB colour shift 设置S=224为最小边长，从原图中等比例缩放，然后从中随机裁剪224*224的部分用于训练 2、网络结构 3.训练细节 训练过程与AlexNet基本相似，除了从各种尺寸的图像中心裁剪图片 batch size：256 ...
NLP-04-TextCNN阅读笔记
weixin_44285710的博客
08-16 513
标题：Convolutional Neural Networks for Sentence Classification 发表期刊：EMNLP2014 单位：纽约大学 1、网络结构 总体来说，网络由一个卷积层、一个最大池化层和一个全连接层组成 1.1、正则化 1.2、TextCNN应用 2、实验结果与分析 2.1、词向量的影响 上图展示的实验仅采用的词向量不同，分别使用glove和word2vec；均采用静态单通道的模型 实验发现word2v...
NLP-05-Char Text Cnn 学习笔记
weixin_44285710的博客
08-18 329
文章标题：Character-level Convolutional Networks for Text Classification 发表期刊：NIPS-2015 单位：纽约大学 作者：
自然语言处理nlp-100例
07-11
### 回答1： 自然语言处理（Natural Language Processing，简称NLP）是计算机科学与人工智能领域的一个重要研究方向，目的是让计算机能够理解、处理和生成人类的自然语言。NLP-100例是一份经典的NLP问题集合，包含了各种与自然语言处理相关的问题和挑战。 这份NLP-100例涵盖了从基础的文本处理到更高级的自然语言理解和生成的问题。例如，其中包括了文本预处理、词频统计、语法分析、词性标注、实体识别、情感分析、机器翻译等任务。 NLP-100例的目的是帮助研究者和开发者更好地理解NLP领域的核心问题和技术，同时提供一些典型的案例和数据集供实践和研究使用。通过完成这些例题，可以锻炼自己在NLP领域的能力和技术，提高对自然语言的处理和理解能力。 此外，NLP-100例也为研究者提供了一个可以与其他人交流和探讨的平台。研究者可以使用相同的数据集和问题进行实验和评估，从而更好地了解NLP技术的优劣和进展。 总之，NLP-100例是一个对NLP进行实践和研究的重要资源。通过解决这些例题，可以深入理解自然语言处理的基础和技术，掌握各种NLP任务的方法和技巧。同时，它也是一个促进交流和合作的平台，为NLP研究者提供了一个共同的基础和语言。 ### 回答2： 自然语言处理（Natural Language Processing，简称NLP）是研究计算机与人类自然语言之间的交互的一门学科。NLP-100例指的是日本的一个NLP入门教程，包含了100个常见的NLP问题和对应的解答。 NLP-100例涵盖了从文本处理到语义理解等多个方面的问题。其中，一些例子包括：文本的分词、词性标注、句法分析、语义角色标注和文本分类等。 以分词为例，分词是将一段连续的文本分割成词语的过程。在NLP-100例中，可以通过使用Python中的分词工具NLTK（Natural Language Toolkit）来实现分词功能。 另外，对于文本的词性标注，NLP-100例提供了使用POS（Part-Of-Speech）标记对文本中的每个词进行词性标注的方法。可以使用NLTK提供的POS标注工具来实现。 此外，NLP-100例还包括了语义角色标注的问题，语义角色标注是为了确定句子中的谓语动词所承担的语义角色，如施事者、受事者、时间等。可以使用Stanford CoreNLP工具包来实现语义角色标注。 最后，NLP-100例还介绍了文本分类的问题，文本分类是将文本划分到预定义的类别中。可以使用机器学习算法，如朴素贝叶斯或支持向量机（SVM）等来进行文本分类。 通过学习NLP-100例，我们可以了解到自然语言处理的基本方法和技术，并且可以利用这些技术来解决相关的自然语言处理问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值