![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Transformer
秃然变强了
这个作者很懒,什么都没留下…
展开
-
基于BERT的多模态应用:图像,视频如何通过BERT处理
基于BERT的多模态应用:图像,视频如何通过BERT处理本次分享的是结合了预训练的语言模型BERT和视觉方面的结合。1. VideoBERT: A Joint Model for Video and Language Representation Learning视频+文本的训练方法通过automatic speech recognition (ASR)模块和vector quantization(VQ)模块,加上BERT形成整个模型。其中ASR模块是用来识别语音的神经网络模块,用来将视频中的语音翻原创 2020-06-03 22:16:51 · 4067 阅读 · 0 评论 -
几个与BERT相关的预训练模型分享-ERNIE,XLM,LASER,MASS,UNILM
基于Transformer的预训练模型汇总1. ERNIE: Enhanced Language Representation with Informative Entities(THU)特点:学习到了语料库之间得到语义联系,融合知识图谱到BERT中,本文解决了两个问题,structured knowledge encoding 和 Heterogeneous Information Fusion(如何融合语言的预训练向量空间和知识表征的向量空间)因此,本文提出了同时在大规模语料库和知识图谱上预训练语原创 2020-06-03 20:32:45 · 2100 阅读 · 0 评论 -
18-19基于预训练的语言模型对比
18-19年基于预训练的语言模型对比ref:后BERT时代:15个预训练模型对比分析与关键点探究1. 模型对于长距离依赖的处理能力Transformer-XL > Transformer > RNNs > CNNs2. 前馈/循环网络 or 串行/并行计算MLP/CNNs/Transformer:前馈/并行RNNs/ Transformer-XL:循环/串行3. 自回归vs自编码自回归:文本序列联合概率的密度估计,为传统语言模型,天然适合处理文本生成任务。问题是文本序列是有原创 2020-05-25 19:39:37 · 1477 阅读 · 0 评论 -
BERT的应用和反思
BERT如何应用在不同NLP任务中以及对于BERT的反思reference:Bert时代的创新(应用篇):Bert在NLP各领域的应用进展1.question answering问答系统中所需的答案在文本中,所以在NLP基础模型技术有较大提升时,此类问题收益较大。更偏向语义匹配。2.Information Retrieval信息检索任务中同样做的是Query和给定文本的匹配任务,但是IR更加...原创 2020-05-04 00:45:39 · 1608 阅读 · 0 评论 -
论文笔记:NLP之BERT,ERNIE(pre-training 模式在NLP任务中的使用)
论文笔记:BERT的原理与应用,ERNIE的原理和进化历程ref:详解ERNIE-Baidu进化史及应用场景Bert时代的创新:Bert应用模式比较及其它从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史1. BERT:...原创 2020-04-30 16:32:41 · 1762 阅读 · 0 评论 -
论文笔记:NLP之Attention is all you need
论文笔记:NLP之Attention is all you need. Transformer 的结构与特点ref:1.Step-by-step to Transformer:深入解析工作原理(以Pytorch机器翻译为例)2.How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models1. t...原创 2020-04-28 18:10:46 · 1398 阅读 · 0 评论