自然语言处理
weixin_40245436
这个作者很懒,什么都没留下…
展开
-
Transformer结构
Transformer改进了RNN最被人诟病的训练慢的缺点,利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度,充分发掘DNN模型的特性,提升模型准确率。在本文中,我们将研究Transformer模型,把它掰开揉碎,理解它的工作原理。 Transformer由论文《Attention is All You Need》提出,首先...转载 2019-02-21 19:17:26 · 1277 阅读 · 0 评论 -
NLP 文本预处理 Python 代码
在获得文本之后 将所有字母转换为小写或大写 目录在获得文本之后将所有字母转换为小写或大写将数字转换为单词或删除数字删除标点、重音符号和其他音调符号删除空格扩展缩写词删除停止词、稀疏词和特定词文本规范化---单词减为词干、词根或词干的过程词性标记分块是一种自然的语言过程,用于识别组成部分把句子(名词、动词、形容词等)联系起来具有离散语法意义的顺...转载 2019-02-22 14:05:00 · 1324 阅读 · 0 评论 -
CoVe
论文:Learned in Translation: Contextualized Word VectorsCove(麦卡恩等人,2017年),是上下文词向量(Contextual Word Vectors)的缩写,是一种由机器翻译领域中的Seq2Seq + Attention模型的Encoder学习得到的word embedding。与传统的word embedding不同,CoV...原创 2019-08-16 14:45:19 · 377 阅读 · 0 评论 -
ELMO
原始论文:Deep contextualized word representationsELMO,是Embedding from Language Model的缩写( Peters等人,2018年),通过无监督预训练多层双向LSTM模型来学习带上下文信息的(Contextualized)单词表示。双向语言模型双向语言模型( bi-LM )是ELMO的基础。模型...原创 2019-08-16 14:45:33 · 366 阅读 · 0 评论 -
ELMO----Cross-View训练
原始论文:Semi-Supervised Sequence Modeling with Cross-View Training在ELMO中,两个独立的模型在两个不同的训练阶段进行无监督的预训练和task-specific的有监督地学习。Cross-View训练(Cross-View Training,CVT;Clark等人,2018 )将两个训练阶段组合成一个统一的半监督学习过程,其中...原创 2019-08-16 14:40:19 · 180 阅读 · 0 评论 -
nlp翻译语言模型评价标准
nlp翻译语言模型评价标准机器翻译BLEUPerplexity详解------公式解释-----意义原创 2019-03-21 16:55:07 · 631 阅读 · 0 评论