从RNN到XLnet

最新推荐文章于 2024-08-18 01:05:20 发布
最新推荐文章于 2024-08-18 01:05:20 发布
阅读量480 收藏
点赞数
分类专栏： 机器学习 杂谈
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cskywit/article/details/104331771
版权

疫情期间，重新阅读了语言模型相关的论文，从RNN时代到XLNet，结合看得网络博文和视频，简单总结为如下一张图：

模型分为AE(AutoEncoder)类，如Transformer，BERT等，AR类(AutoRegression)类，如基于RNN、LSTM或其变种（ELMO）等，这种分类方式是XLNET中的分类方法，可以参考该论文。下面引用Recurrent.ai联合创始人杨植麟大神讲座中的PPT图片，个人觉得对NLP的发展有着很深刻的理解：

 

cskywit
关注
专栏目录
XLNet原理与代码实例讲解
程序员光剑
07-07 328
XLNet原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：XLNet，Transformer，序列建模，语言理解，机器翻译，自然语言生成 1.背景介绍
XLNet模型
sikh_0529的博客
09-15 1万+
XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。总之，XLNet是一种通用的自回归预训练方法。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果（state-of-the-art），包括机器问答、自然语言推断、情感分析和文档排序。作者表示，BERT 这样基于去噪自编码器的预训练模型可以很好地建模双向语境信息，性能优于基于自回归语言模型的预训练方法。
《从BERT到XLNet》
weixin_43580252的博客
02-22 183
bert两个缺点（图右）： 被预测单词的联系性没有考虑； discrepancy差异性：训练和测试环境不一致性（mask token） 模型不能改变，改变数据的方式： 位置不能换，那就在模型里增加attention mask 告诉它学习哪些 attention mask 附件：bert中有的mask，有些保持不变，有些改变 左边考虑位置，邮编考虑位置和内容 h考虑位...
XLNet原理解读
小岁月太着急
06-20 3万+
论文地址：https://arxiv.org/pdf/1906.08237.pdf 预训练模型及代码地址：https://github.com/zihangdai/xlnet 论文原理：（张俊林老师--讲的比较透彻）XLNet:运行机制及和Bert的异同比较https://zhuanlan.zhihu.com/p/70257427 摘要 作者表示，BERT ...
最通俗易懂的XLNET详解
u012526436的博客
06-24 6万+
Two-Stream Self-Attention for Target-Aware Representations XLNET其中一个优化点是基于目标感知表征的双流自注意力 虽然排列语言模型能满足目前的目标，但是对于普通的transformer结构来说是存在一定的问题的，为什么这么说呢，看个例子，假设我们要求这样的一个对数似然，pθ(Xzt∣xz<t)p_{\theta} (X_{...
XLNet的要点理解
weixin_42425256的博客
03-18 268
刚才看了下大神 张俊林 在知乎上对XLNet的理解，看的热血沸腾的。这里将XLnet的重要贡献总结一下，方便以后查阅。 一、主要贡献有3处，具体如下： （1）在自回归模型中，引入了可以查看双向信息的机制，即Permutation Language Model，这个是XLNet的主要理论创新。就是对于生成类的任务，能够在维持表面从左向右的生成过程前提下，模型里隐含了上下文的信息，所以看上去，XLNe...
XLNet作者讲解XLNet
09-19
Recurrent.ai联合创始人 杨植麟：自然语言理解模型：XLNet
XLNet原理解析：从BERT到XLNet的进化之路
在本章中，我们将回顾自然语言处理的历史，从传统技术到近年来的突破性模型的发展，带您了解NLP技术的演进轨迹。 ## 1.1 传统自然语言处理技术 在早期，自然语言处理技术主要集中在基于规则的方法，如词法分析、...
生成式对话seq2seq：从rnn到transformer
12-16 1404
一、前言 最近因为做对话机器人的原因，看了一下seq2seq。不禁感慨，自由对话机器人的水好深呀。 查阅了一些市面上能看到资料，工业上的做法，普遍是 基础模板(例如 aiml)+IR闲聊库(例如 小黄鸡语料QA)+爬虫(百度、搜狗)+知识图谱(wiki百科)+对话生成模型。 aiml模板就不说了，网上有很多的资料，效果上来说，比较智障。人工编写模板的工作量也大，也不能覆盖很多的回答。 IR...
XLNet 的论文2019Generalized Autoregressive Pretraining.pdf
06-20
CMU 与谷歌大脑提出的 XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果。令人激动的是，目前 XLNet 已经开放了训练代码和大型预训练模型，这又可以玩一阵了～
XLNet模型的优点和限制
最新发布
程序员光剑
08-18 359
1. 背景介绍 1.1. 自然语言处理的挑战 自然语言处理（NLP）旨在让计算机理解和处理人类语言，是人工智能领域最具挑战性的任务之一。近年来，随着深度学习技术的快速发展，NLP领域取得了显著进步，尤其是在语言模型方面。然而，传统的语言模型，如RNN和Transformer，仍然存在一些局限性，例
一文看懂25个神经网络模型
热门推荐
刘炫320的博客
06-17 24万+
1. 引言在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在
XLNet原理探究
weixin_30604651的博客
09-02 70
1. 前言 XLNet原文链接是CMU与谷歌大脑提出的全新NLP模型，在20个任务上超过了BERT的表现，并在18个任务上取得了当前最佳效果，包括机器问答、自然语言推断、情感分析和文档排序。 这篇新论文中，作者从自回归（autoregressive）和自编码（autoencoding）两大范式分析了当前的预训练语言模型，并发现它们虽然各自都有优势，但也都有难以解决的困难。为此，研究者提出...
XLNET详解
悟以往之不谏，知来者之可追
03-03 553
本文转载：https://wmathor.com/index.php/archives/1475/ “干翻芝麻街” 2018 年，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT，刷新了 11 项 NLP 任务的最优性能记录，为 NLP 领域带来了极大的惊喜。很快，BERT 就在圈内普及开来，也陆续出现了很多与它相关的新工作 BERT 带来的震撼还未平息，来自卡耐基梅隆大学与谷歌大脑的研究者又提出新型预训练语言模型 XLNet，在 SQuAD、GLUE、RACE 等 20 个任务
XLNet与BERT以及语言模型的对比
qq_33472146的博客
07-01 1567
XLNet与BERT的对比 XLNet和BERT都是预测一个句子的部分词，但是背后的原因是不同的。BERT使用的是Mask语言模型，因此只能预测部分词(总不能把所有词都Mask了然后预测？)。而XLNet预测部分词是出于性能考虑，而BERT是随机的选择一些词来预测。 除此之外，它们最大的区别其实就是BERT是约等号，也就是条件独立的假设–那些被MASK的词在给定非MASK的词的条件下是独立的。但是...
【学习笔记】wordCloud的基本使用
寸先生的AI道路
02-08 3万+
       最近研究NLP，结果用wordCloud展示效果很好，学习了一下，其实很简单，github上有英文词云的实例可以参考，详见：https://amueller.github.io/word_cloud/ 。下面分Wordcloud类的使用，github上的英文词云例子，自行做的中文词云例子分别记录一下：一、WordCloud类class wordcloud.WordCloud( ...
【问题解决】Win10 VScode中激活虚环境提示“Your shell has not been properly configured to use 'conda activate'.”
寸先生的AI道路
08-11 2万+
在win10 VScode powershell comdline中使用conda activate激活虚环境时候提示 ommandNotFoundError: Your shell has not been properly configured to use 'conda activate'. 确保在环境变量中已经加入了Anaconda路径后，问题依旧。 在VScode powershell...
【已解决】Ubuntu18.04下NVIDIA GPU驱动程序运行一段时间后出错“NVIDIA-SMI has failed”
寸先生的AI道路
12-22 1万+
          本人在使用Ubuntu18.04 NVIDIA GPU深度学习环境的过程中，每过一段时间就出现错误“NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and runni...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值