NMT、enc-dec的一些笔记

3人阅读 评论(0) 收藏 举报
分类:

传统的Encoder-Decoder

1、在编码的时候,接收输入X=x1,x2,,xT,生成context vector C
2、训练阶段,在解码的时候

2.1、从C出发预测y^1,再依次用y^i1预测y^i即使用预测的Y^而不是真实值Y,这样的做法就是让模型自己去学习。这样容易产生误差累积的问题,导致模型学习收敛比较慢。

2.2、如果每次使用真实值的yi1来作为输入生成预测值y^i,这样的做法就是teacher forcing,也就是加入教师强制指导,这样的好处就是更快的收敛,但是更偏向于单个正确值预测,而在测试的时候这种教师信息是没有的,因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例,作为两种方式的折中

查看评论

Tensorflow 机器翻译NMT笔记 1 快速上手

开始首先,这篇博客基本基于:https://github.com/tensorflow/nmt/ 的内容来的,作为个人学习的笔记,也当做一个博客内容分享。顺序和Github上的顺序有一些区别,注意咯首...
  • MebiuW
  • MebiuW
  • 2017-09-03 21:17:52
  • 2428

NMT, Rare Words, Subword Units, BPE

这篇文章在基于注意力机制的机器翻译模型上增加了两个模块。由于是基于字符集别的模型,该模型自然可以学得一些语言中的前后缀在翻译中的关系。此外,基于字符级别的模型在翻译未知词时有灵活性。可是,文中也提到,...
  • qq_32458499
  • qq_32458499
  • 2018-01-02 18:39:45
  • 247

Google NMT 阅读笔记

原文 https://github.com/tensorflow/nmt/ The encoder RNN uses zero vectors as its starting states enc...
  • u010867294
  • u010867294
  • 2017-11-28 14:03:15
  • 212

tensorflow nmt源码解析

Tensorflow nmt源码解析 声明 本系列博客由 罗周杨 stupidme.me.lzy@gmail.com 原创,同步更新在多个平台,包括: csdn/stupid_3 ...
  • stupid_3
  • stupid_3
  • 2018-01-02 22:20:25
  • 316

<模型汇总_4>神经翻译模型(NMT)新宠_Adversarial Neural Machine Translation_Adversarial-NMT

前面介绍了牛逼的CNN(Convolutional Neural Network)、深度学习加速神器BNN(Binarized neural network)和深度学习中最贪玩的模型dual-le...
  • lqfarmer
  • lqfarmer
  • 2017-05-01 17:52:39
  • 2425

Tensorflow nmt的整体结构

Tensorflow nmt的整体结构   tensorflow/nmt项目的入口文件是nmt/nmt.py,通过指定不同的参数,可以从该入口进入到训练或者推断流程。首先来看一看,进入不同流程的时候...
  • stupid_3
  • stupid_3
  • 2018-01-25 23:52:36
  • 221

CANopen通信之NMT通信

在介绍NMT通信机制之前,先介绍一下NMT这个通信对象的定义。在以下部分中COB-ID使用的是 CANopen 预定义连接集中已定义的缺省标志符。 1) NMT 模块控制( NMT Module C...
  • iamplane
  • iamplane
  • 2015-11-19 11:27:31
  • 3582

机器学习入门0005 tensorflow_NMT模型

机器学习入门0005 tensorflow_NMT模型1.简介nmt(Neural Machine Translation)是一个序列到序列的模型。可以用来做【聊天机器人】,【翻译】,【关键词提取】,...
  • Moluth
  • Moluth
  • 2018-01-24 10:58:16
  • 413

Tensorflow nmt的数据预处理过程

tensorflow nmt的数据预处理过程   在tensorflow/nmt项目中,训练数据和推断数据的输入使用了新的Dataset API,应该是tensorflow 1.2之后引入的API,...
  • stupid_3
  • stupid_3
  • 2018-01-26 00:00:24
  • 453

<模型汇总_3>深度学习中最贪玩的模型dual-learning NMT

之前给介绍了牛逼的CNN(Convolutional Neural Network)和深度学习加速神器BNN(Binarized neural network),感兴趣的同学可以添加微信公众号...
  • lqfarmer
  • lqfarmer
  • 2017-04-28 07:27:35
  • 1027
    个人资料
    等级:
    访问量: 15
    积分: 23
    排名: 208万+
    文章分类
    文章存档