TeaForN：让Teacher Forcing更有“远见”一些

最新推荐文章于 2021-09-29 10:45:42 发布
最新推荐文章于 2021-09-29 10:45:42 发布
阅读量687 收藏 2
点赞数
文章标签： 人工智能 自然语言处理 xhtml gwt 过拟合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/109541374
版权
TeaForN是Google提出的一种新的训练策略，旨在减轻Seq2Seq模型中的Exposure Bias问题。不同于Teacher Forcing只预测当前token，TeaForN通过嵌套迭代预测后N个token，提高模型的前瞻性。虽然Student Forcing能完全解决这个问题，但存在并行性和收敛性挑战。TeaForN在保持并行性的同时提升了模型的远见，实验结果显示它能有效提高模型性能。
摘要由CSDN通过智能技术生成

©PaperWeekly 原创 · 作者｜苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

Teacher Forcing 是 Seq2Seq 模型的经典训练方式，而 Exposure Bias则是  Teacher Forcing 的经典缺陷，这对于搞文本生成的同学来说应该是耳熟能详的事实了。笔者之前也曾写过文章 Seq2Seq中Exposure Bias现象的浅析与对策，初步地分析过 Exposure Bias 问题。

本文则介绍 Google 新提出的一种名为“TeaForN”的缓解 Exposure Bias 现象的方案，来自论文 TeaForN: Teacher-Forcing with N-grams，它通过嵌套迭代的方式，让模型能提前预估到后 N 个 token（而不仅仅是当前要预测的 token），其处理思路上颇有可圈可点之处，值得我们学习。

论文标题：

TeaForN: Teacher-Forcing with N-grams

论文链接：

https://arxiv.org/abs/2010.03494

（注：为了尽量跟旧文章保持一致，本文的记号与原论文的记号有所不同，请大家以理解符号含义为主，不要强记符号形式。）

Teacher Forcing

文章 Seq2Seq中Exposure Bias现象的浅析与对策已经相对详细地介绍了 Teacher Forcing，这里仅做简要回顾。首先，Seq2Seq 模型将联合概率分解为多个条件概率的乘积，这就是所谓的“自回归模型”：

然后，当我们训练第 t 步的模型 时，我们假设 都是已知的，然后让模型只预测 ，这就是 Teacher Forcing。

但在预测阶段，真实的 都是未知的，此时它们是递归地预测出来的，可能会存在传递误差等情况。因此 Teacher Forcing 的问题就是训练和预测存在不一致性，这让我们很难从训练过程掌握预测的效果。

没什么远见

怎么更具体理解这个不一致性所带来的问题呢？我们可以将它理解“没什么远见”。在解码器中，输入 和前 t-1 个输出 token 共同编码得到向量 ，在 Teacher Forcing 中，这个 只是用来预测 ，跟

最低0.47元/天 解锁文章
PaperWeekly
关注
自然语言处理（扩展学习1）：Scheduled Sampling(计划采样)与Teacher forcing（教师强制）
安静到无声
07-14 1522
作者：安静到无声作者简介：人工智能和硬件设计博士生、CSDN与阿里云开发者博客专家，多项比赛获奖者，发表SCI论文多篇。o(￣▽￣)ｄ。
teacher forcing
HRL321的博客
08-06 887
学习链接：https://zhuanlan.zhihu.com/p/93030328 链接：https://zhuanlan.zhihu.com/p/380462092 teacher forcing机制是怎样的？上个问题中我们给出的图示是最简单的Seq2Seq的示意图，其中忽略了很多细节。 这张图，展示了在训练时，seq2seq内部的详细结构。在Encoder端，我们将输入文本的词序列先经过embedding层转化成向量，喂进Encoder中，得到一个context vector。Decoder端的输入
细粒度图像识别Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classificatio
热门推荐
Cyiano的博客
05-14 1万+
本文介绍了17年4月在arxiv上的一篇细粒度图像识别文章，由清华大学的Yuxin Peng等人撰写，采用的是弱监督识别方法，准确率达到了最高。
SVM-支持向量机原理详解与实践之二
jcjx0315的博客
03-14 4202
SVM -支持向量机原理详解与实践之二  SVM原理分析 以下内容接上篇。 拉格朗日对偶性（Largrange duality）深入分析 前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性。 因为通过应用拉格朗日对偶性我们可以寻找到最优超平面的二次最优化， 所以以下可以将寻找最优超平面二次最优化（原问题），总结为以下几个步骤： 在原始权重空间的带约束的优化问题。（注
ICPR 2020国际学术竞赛：大规模无噪声精细商品图像识别
Paper weekly
08-21 785
随着电子商务的飞速发展，购物方式发生了革命性的变化。为了通过快速响应完全满足客户的大量和多样化的在线购物需求，以及购物网站商品入库等需求， AI 零售系统通常需要自动从图像或视频中识别库...
详解支持向量机(SVM)
suotanyu1595的博客
09-20 1626
目录1.支持向量1.1 线性可分1.2 最大间隔超平面1.3 支持向量1.4 SVM最优化问题2. 对偶问题2.1 拉格朗日乘数法2.1.1 等式约束优化问题2.1.2 不等式约束优化问题2.2 强对偶性3. SVM优化4. 软间隔4.1 解决问题4.2 优化目标及求解5. 核函数5.1 线性不可分5.2 核函数的作用5.3 常见核函数6. 优缺点6.1 优点6.2 缺点 1.支持向量 1.1 线性可分 首先我们来了解下什么是线性可分。 在二维空间桑，两类点被一条直线完全分开叫线性可分。 1.2 最大间
支持向量机理论详解
superzzx0920的博客
05-05 3620
1.1 SVM 概念 支持向量机SVM是一种原创性（非组合）的具有明显直观几何意义的分类算法，具有较高的准确率。源于Vapnik和Chervonenkis关于统计学习的早期工作（1971年），第一篇有关论文由Boser、Guyon、Vapnik发表在1992年。思想直观，但细节异常复杂，内容涉及凸分析算法，核函数，神经网络等高深的领域。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间
015扩展1：Scheduled Sampling(计划采样)与2. Teacher forcing（教师强制）
最新发布
08-08
015扩展1：Scheduled Sampling(计划采样)与2. Teacher forcing（教师强制）
RNN中的Teacher Forcing
u013596454的博客
09-29 926
1. 什么是Teacher Forcing ​ Teacher Forcing（下面简称tf）是一种快速有效地训练递归神经网络模型的方法，这个方法名字听着很高端，其实应用非常简单，就是使用上一时间步的输入的groud truth作为输入，而取代了真实的目标输入。该技术广泛使用在了机器翻译，文本摘要，图像描述（ image captioning）等，在训练递归网络时，tf可以加快模型的收敛速度以及提升模型的不稳定性。 2.序列预测问题 ​ 我们实际生活中的很多问题都是序列问题，就拿我们熟悉的机器翻译来说，它对
SVM(支持向量机)入门 (深入浅出讲解原理)
03-14
深入浅出讲解SVM的原理和应用，有点类似于傻瓜式的教学方法，个人觉得很有帮助。 SVM入门（一）SVM的八股简介 SVM入门（二）线性分类器Part 1 SVM入门（三）线性分类器Part 2 SVM入门（四）线性分类器的求解——问题的描述Part1 SVM入门（五）线性分类器的求解——问题的描述Part2 SVM入门（六）线性分类器的求解——问题的转化，直观角度 SVM入门（七）为何需要核函数 SVM入门（八）松弛变量。 SVM入门（九）松弛变量（续）。 SVM入门（十）将SVM用于多类分类。
研究svm入手级别的三篇paper
06-29
研究svm入手级别的三篇paper： 00_Sequential Minimal Optimization- A Fast Algorithm for Training Support Vector Machines 01_A Tutorial on Support Vector Machines for Pattern recognition(Burges1998) 02_SVM(Hearst-etal1998)
excel的SVM模型工具
09-08
excel的svm模型工具安装包，可直接安装执行，按照说明使用时可在excel内进行多种聚类、分类处理，方便快捷。
支持向量机SVM详解
黄小黄的窝
08-12 358
支持向量机 支持向量机（SVM）算法在分类问题中有着很重要的地位，其主要思想是最大化两类之间的间隔。按照数据集的特点： 1：线性可分问题，如之前的感知机算法处理的问题 2：线性可分，只有一点点错误点，如感知机算法发展出来的pocket算法处理的问题 3：非线性问题，完全不可分，如在感知机问题发展出来的多层感知机和深度学习 针对以上三种情况SVM有以下三种处理方式： 1：hard-margin SVM 2：soft-margin SVM 3：kernel Method Hard-margin SVM 支持向量
《机器学习实战》学习笔记九：支持向量机（SVM）
爱在梦醒时分的博客
03-12 706
一、什么是支持向量机（SVM）？ 支持向量机（Support Vector Machine）听起就来是一个很难理解的概念，的确，刚开始听这一概念完全不知其是什么东西。在参考了网上的一些大神通俗的解释后，对于这一概念有了初步的认识。自己也很难想出比这更好的解释，在这里就直接引用知乎大神简之的解释了[1]：点击查看原文地址 大神以一个故事来说明这个问题：在很久以前的情人节，大侠要去救他的爱人，但魔...
【机器学习】支持向量机 SVM（非常详细）
yishuihanq的博客
07-16 6428
【机器学习】支持向量机 SVM（非常详细） 【机器学习】支持向量机 SVM（非常详细） 阿泽 复旦大学 计算机技术硕士 创作声明：内容包含虚构创作 SVM 是一个非常优雅的算法，具有完善的数学理论，虽然如今工业界用到的不多，但还是决定花点时间去写篇文章整理一下。 1. 支持向量 1.1 线性可分 首先我们先来了解下什么是线性可分。 在二维空间上，两类点被一条直线完全分开叫做线性可分。 严格的数学定义是： 1.2 最大间隔超平面 1.3 支持向量 .
大脑中的支持向量机
竭尽全力的专栏
12-26 1166
本文转自知乎：大脑中的支持向量机。 支持向量机（SVM）是一种重要的机器学习分类器， 它巧妙的运用非线性变换把低维的特征投影到高维，可以执行比较复杂的分类任务（升维打击）。 SWM看似使用了一个数学上的玄技，实则是恰巧符合了大脑编码的机理， 我们可以从2013年的一篇nature论文读起，理解机器学习和大脑工作原理的深层联系（表面的联系是运用机器学习研究大脑）。 论文名称： T
SVM支持向量机的推导（非常详细）
justsolow的博客
05-18 3285
SVM的推导（非常详细） 参考自（https://www.zhihu.com/search?q=svm%E6%8E%A8%E5%AF%BC&utm_content=search_suggestion&type=content） 还有李航的统计学习。 支持向量机有三个部分的内容，线性可分支持向量机，软间隔支持向量机，核函数。 目标函数的得出 首先SVM是一个线性分类器，SVM的目标就是找到最大间隔超平面。 我们定义任意的超平面函数为： 看上面的图，最中间的那条线就是（这里的w*就是上面的
什么是支持向量机SVM和核函数？ | 复习回顾 | 知乎高赞回答整理
z
04-17 232
高清大图
for batch_idx, (data, target) in enumerate(self.train_loader): data = data[..., :self.args.input_dim] label = target[..., :self.args.output_dim] # (..., 1) self.optimizer.zero_grad() #teacher_forcing for RNN encoder-decoder model #if teacher_forcing_ratio = 1: use label as input in the decoder for all steps if self.args.teacher_forcing: global_step = (epoch - 1) * self.train_per_epoch + batch_idx teacher_forcing_ratio = self._compute_sampling_threshold(global_step, self.args.tf_decay_steps) else: teacher_forcing_ratio = 1. # data and target shape: B, T, N, F; output shape: B, T, N, F data, target维度均为64，12，307，1 output = self.model(data, target, teacher_forcing_ratio=teacher_forcing_ratio) if self.args.real_value: label = self.scaler.inverse_transform(label) loss = self.loss(output, label) loss.backward() # add max grad clipping if self.args.grad_norm: torch.nn.utils.clip_grad_norm_(self.model.parameters(), self.args.max_grad_norm) self.optimizer.step() total_loss += loss.item()
07-14
这段代码是一个训练循环的一部分，用于对批次数据进行训练。代码中使用`enumerate(self.train_loader)`来遍历训练数据集，并在每个批次中进行以下操作： 1. 首先，通过`data[..., :self.args.input_dim]`和`target[..., :self.args.output_dim]`对输入数据和标签进行切片，以获取指定维度的子集。这是为了确保输入和标签的维度匹配。 2. 然后，调用`self.optimizer.zero_grad()`来清零模型参数的梯度。 3. 接下来，根据`self.args.teacher_forcing`的值来确定是否使用"teacher forcing"的方法。如果`self.args.teacher_forcing`为真，则计算当前批次的全局步数，并使用`self._compute_sampling_threshold()`方法计算出"teacher forcing"的比例。否则，将"teacher forcing"比例设置为1.0，表示在解码器中的所有步骤都使用标签作为输入。 4. 调用`self.model(data, target, teacher_forcing_ratio=teacher_forcing_ratio)`来获取模型的输出。如果`self.args.real_value`为真，则通过`self.scaler.inverse_transform(label)`将标签逆转换为原始值。 5. 计算模型输出和标签之间的损失，并将损失值添加到总损失`total_loss`中。 6. 调用`loss.backward()`计算梯度，并使用`torch.nn.utils.clip_grad_norm_()`对梯度进行最大梯度裁剪。 7. 最后，调用`self.optimizer.step()`来更新模型参数。 这个循环会遍历整个训练数据集，并在每个批次中计算和更新模型的损失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值