论文笔记
文章平均质量分 77
记录研读过的论文的研究问题,模型,实验效果,总结创新点,优缺点(和个人心得)
阿.荣.
勿弃
展开
-
ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding【representation】
title: “ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding, Yu Sun 2020”subtitle:date: 2021-01-18author: xuqiurongtags:- 多任务学习-摘要:最近预训练模型在各种语言理解任务上达到了最先进的水平,目前的预训练程序通常集中在训练几种简单任务,来把握单词或者句子的共现,可是,除了共现信息**(???),在训练语料中还存在其他有价值的.原创 2021-01-19 12:55:04 · 274 阅读 · 0 评论 -
ERNIE: Enhanced Representation through Knowledge Integration, Yu Sun 2020【representation+Bert+ner】
title: “ERNIE: Enhanced Representation through Knowledge Integration,Yu Sun 2020 【】”subtitle: “”date: 2021-1-15author: “xuqiurong”tag:- language representation-摘要:我们提出了一个新的语言表达模型,名为ERNIE(Enhanced Representation through Knowledge Integration)。Re.原创 2021-01-18 15:43:47 · 755 阅读 · 0 评论 -
Adversarial Transfer Learning for Chinese Named Entity Recognition with Se..., Pengfei Cao 2018【NER】
layout: posttitle: “Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism, Pengfei Cao 2018 【ner+adversarial+self-attention】”subtitle: “”date: 2021-1-5author: “xuqiurong”header-img: “”c.原创 2021-01-14 20:11:54 · 488 阅读 · 0 评论 -
[转载] Attention is All You Need【attention+transformer】
2021-1-6 记录一个博主写的对《Attention is All You Need》的讲解,包括细化讲解Attention Is All You Need简记(多头注意力、自注意力、层归一化、位置嵌入)transformer再记(编码器)原创 2021-01-06 22:27:02 · 108 阅读 · 0 评论 -
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Transl…_2014【NMT】
文章目录原创 2020-08-27 21:31:04 · 855 阅读 · 0 评论 -
Statistical Phrase-Based Translation_2003_Koehn【SMT】
论文笔记文章目录论文信息摘要what短语翻译模型decoder 解码器howresultsome notes论文信息论文Statistical Phrase-Based Translation作者Philipp Koehn, Franz Josef Och, Daniel Marcu来源未知年份2003分类【SMT】这是基于短语的统计翻译模型的一篇经典文章,也是清华大学NMT列出的十大必读文章之一。摘要本文提出一个新的基于短语的翻译模型和解码算原创 2020-08-26 11:20:07 · 229 阅读 · 0 评论 -
Neural Machine Translation by Jointly Learning Align and Translate【NMT】【Attention】【待完成~】
neural machine translation旨在建立和训练一个单独且大的神经网络,读入一个句子然后最大化翻译的性能 输出正确的翻译。最近提出的NMT模型都是encoder-decoder这种思想,将源句encode为一个fixed-length vector,然后decode为目标翻译结果。在这篇论文中,作者推测(conjecture)在encoder-decoder结构中使用fixed-length vector是提升翻译效果的瓶颈。将所有的源句的信息压缩为一个fixed-length ve.原创 2020-08-21 14:34:36 · 98 阅读 · 0 评论 -
Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】
文章目录提出背景神经机器翻译NMT模型Global AttentionLocal attention论文链接:Effective Approaches to Attention-based Neural Machine TranslationBy Luong et al. 2015任务对齐(alignments between different modalities):对齐是指比如在翻译任务中,翻译每个词的时候,要找多需要重点关注的原句中的词,也就是将原文中的词和目标文中的词对应起来。对齐权原创 2020-07-10 15:17:37 · 178 阅读 · 0 评论 -
Sequence to Sequence Learning with Neural Networks_2014【machine translation】
论文:Sequence to Sequence Learning with Neural Networks作者:Ilya Sutskever,Oriol Vinyals,Quoc V. Le补习知识:RNN,LSTM,SGD,beam search原创 2020-06-24 16:14:48 · 231 阅读 · 0 评论