NLP-07-Deep nmt 学习笔记

最新推荐文章于 2022-03-08 17:58:46 发布
最新推荐文章于 2022-03-08 17:58:46 发布
阅读量187 收藏
点赞数
分类专栏： 论文阅读总结 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44285710/article/details/108111265
版权

标题：Sequence to Sequence Learning with Neural Networks

发表期刊：NIPS-2014

 

1、背景介绍

1.1、机器翻译评价指标：BLUE

1.2、seq2seq模型

2、模型结构

模型的encoder和decoder部分分别采用两个四层的LSTM，每个时间步输入一个词，最终encoder获得一个固定维度的向量作为整个句子的表示；随后decoder对向量进行解码获得句子翻译的结果

2.1、三点tricks

  • 对于encoder和decoder，采用不同的LSTM
  • 深层的LSTM比浅层的LSTM效果好
  • 对源语言进行倒序输入会大幅提升翻译效果

2.2、Beam search

核心思想为在预测时保留B个可能性最高的词进行下一步的预测，最终挑选最优的结果

2.3、模型及训练细节

  • 每层LSTM使用1000个神经元
  • 采用1000维的词嵌入
  • 使用8000维向量表示一个句子
  • LSTM所有参数使用[-0.08,0.08]的均匀分布进行初始化
  • 初始学习率为0.7，5个epoch之后，每经过0.5个epoch学习率减半，一共训练了7.5个epoch
  • 128个句子作为一个batch进行训练
  • 对进行长度进行的排序，使得一个batch中的句子长度相当，速度提升2x

 

3、实验结果及分析

4、代码实现

5、论文总结

本文为深度之眼paper论文班的学习笔记，仅供自己学习使用，如有问题欢迎讨论！关于课程可以扫描下图二维码

 

小杰.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cs224n学习笔记4-RNN
TARO_ZERO的博客
02-26 278
目录 Recurrent Neural Network 递归神经网络 N-grams RNN 递归神经网络 RNN的训练：The vanishing/exploding gradient problem 梯度消失/爆炸问题 Bidirectional RNNs 双向循环神经网络 评估：F1-score Recurrent Neural Network 递归神经网络 场景：计算单词序列的概率 N-grams 思路：根据前个单词预测第个单词的概率，但这会占用大量内存 RNN 递归神经网
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
nlp-baseline 7：deep NMT
sirlb2013的博客
08-04 341
博客转载自如下地址：[https://blog.csdn.net/oldmao_2001/article/details/102653672]（https://blog.csdn.net/oldmao_2001/article/details/102653672）
NLP论文学习笔记-deepnmt
lzj50002801的博客
08-09 414
论文题目：Sequence to Sequence Learning with Neural Networks 论文作者：Ilya Sutskever(Google) 发表时间： NIPS 2014 评价方法：BLEU 背景：机器翻译需要人工翻译打分，成本太高，速度慢；所以提出了一种机器自动评价的方法； 出处： a Method for Automatic Evaluation of Machine Translation, 2002 1-GRAM: p1=Countclip(the)Cou
自然语言炼丹之路（三之七）筑基丹seq2seq&deep_nmt
beilop的博客
01-10 338
Sequence to Sequence Learning with Nerual Networks 使用神经网络学习序列到序列的任务 例如机器翻译、摘要生成、机器对话、阅读理解等都是输入一个序列（句子、短语等），输出一个序列（句子、短语等）的任务，也可以说是序列生成任务或者Encoder——Decoder任务。本篇主要是在机器翻译上的工作。 这篇文章是谷歌的ilya Sutskever在2014年发在NIPS上的。 文章目录Sequence to Sequence Learning with Nerual
NLP十大Baseline论文简述(七) - deep_nmt
扇扇子的炼丹师
10-18 259
文章目录前言：1. Paper：2. BlEU介绍3. 背景介绍4. 论文摘要5. 研究意义 前言： 如果需要对基础概念不了解，可以参考这里。我汇总了论文中涉及的大部分概念，以便更好的理解论文。 1. Paper： Sequence to Sequence Learning with Neural Networks 使用神经网络来做序列到序列的学习 2. BlEU介绍 如何评价机器翻译结果的好坏 人工评价：通过人主观对翻译进行打分 优点：准确 缺点：速度慢，价格贵 机器自动评价： 通过设置指标对机器翻译结果
deep_nmt(seq2seq)（iwslt数据集---机器翻译）
weixin_42318554的博客
03-08 2120
文章目录deep_nmt(seq2seq)一、文件目录二、语料集下载地址（本文选择AG）三、数据处理(AG_Dataset.py)四、模型（Fasttext.py）五、训练和测试实验结果 deep_nmt(seq2seq) 一、文件目录 二、语料集下载地址（本文选择AG） https://wit3.fbk.eu/2014-01 三、数据处理(AG_Dataset.py) 1.数据集加载 2.读取标签和数据 3.创建word2id（源语言和目标语言）    3.1统计词频
论文笔记：NAACL-HLT 2018 BERT Pre-training of Deep Bidirectional Transformers for
qq_44015059的博客
09-20 427
前言 近年来比较优秀的词嵌入模型有word2vec，ELMo，OpenAI GPT，和本文要介绍的BERT。其中word2vec通过全连接神经网络进行训练，ELMo通过堆叠LSTM组件构建网络进行训练，OpenAI GPT和BERT则以NMT任务所提出的模型架构Transformer为基本组件构建网络训练。BERT（Bidirectional Encoder Representations from Transformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新
NLP自然语言处理-职业词库
02-16
NLP自然语言处理、机器学习、人工智能 学习语料、训练语料、词库 中国职业名称词库 中文 python
nlp-python-deep-learning:Python与深度学习中的NLP
05-14
自然语言处理笔记本 可作为书籍使用： 为实践工程师而写 这项工作建立在自然语言处理方面的杰出工作的基础上。 这些范围从Jurafsky的语音和语言处理之类的经典作品到Ian Goodfellow等人在《深度学习书》中相当现代的...
基于 Tensorflow，仿 Scikit-Learn 设计的深度学习自然语言处理框架
最新发布
06-06
【作品名称】：基于 Tensorflow，仿 Scikit-Learn 设计的深度学习自然语言处理框架 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 ...
Deep-Learning-NLP:自然语言处理中深度学习的组织资源
04-14
用于自然语言处理的深度学习 有关该体系结构的详细说明，请阅读。 允许使用带有适当归属的该存储库代码：如果发现有用，请引用该论文。 @article{torfi2020natural, title={Natural Language Processing ...
NLP-01-word2vec 阅读笔记
weixin_44285710的博客
08-13 2455
发表期刊：EMNLP 2014 单位：斯坦福大学 1.1、文章摘要： 当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律，但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析，我们发现了一些有助于这种词向量规律的特性，并基于词提出了一种新的对数双线性回归模型，这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.
NLP-03-character embedding（C2W） 阅读笔记
weixin_44285710的博客
08-15 1761
论文题目：Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation 发表期刊：2015-EMNLP 单位：卡纳基美隆大学 1、背景介绍 向量的学习对于自然语言处理的应用非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。【背景介绍】 但是词向量机制中的词和词之间是独立的，这种独立性假设是有问题的，词之间形式上的相似性会一定程度造成功能的相似性，尤..
CV-01-AlexNet学习笔记
weixin_44285710的博客
04-03 960
包含卷积尺寸计算方法
NLP10-SGM-论文学习笔记
weixin_44285710的博客
08-28 894
论文题目：SGM: Sequence Generation Model for Multi-Label Classification 发表期刊：2018-Coling Bestpaper 多标签分类：The target of the MLC task is to assign multiple labels to each instance in the dataset 1、相关工作 将多标签分类问题看做是一个链式的二分类问题 也采用了序列生成的方式，但没有采用注意力机制，获得的提...
Pretrained-model-01-Transformer论文阅读笔记
weixin_44285710的博客
08-31 695
论文题目：Attention Is All Y ou Need 发表会议：2017-NIPS 1、背景知识 1.1、翻译效果评价指标BLUE 参考博客： https://blog.csdn.net/guolindonggld/article/details/56966200 主要讲解BLUE在nltk中的实现 https://blog.csdn.net/jkwwwwwwwwww/article/details/52846728 from nltk.trans...
CV-02-VGG论文阅读总结
weixin_44285710的博客
04-09 636
1、数据 输入：224*224 RGB彩色图像 预处理：对图像的每个像素做了减去均值的操作。 数据增强：随机水平翻转和随机RGB colour shift 设置S=224为最小边长，从原图中等比例缩放，然后从中随机裁剪224*224的部分用于训练 2、网络结构 3.训练细节 训练过程与AlexNet基本相似，除了从各种尺寸的图像中心裁剪图片 batch size：256 ...
自然语言处理nlp-100例
07-11
### 回答1： 自然语言处理（Natural Language Processing，简称NLP）是计算机科学与人工智能...通过学习NLP-100例，我们可以了解到自然语言处理的基本方法和技术，并且可以利用这些技术来解决相关的自然语言处理问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值