![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 90
饮冰l
这个作者很懒,什么都没留下…
展开
-
论文笔记:Recsys 2019 Style Conditioned Recommendations
前言论文链接:https://arxiv.org/abs/1907.12388github:暂无本文提出了一种条件变分自动编码器 Conditional Variational Autoencoder (CVAE) ,其中编码器和解码器的所依赖的用户条件是从物品内容中学习得到的。基于此可以允许模型根据不同类型的推荐任务进行风格迁移,作者将这种功能称为风格注射。为了实现这种操作,需要学习用户对于不同类型的偏好,并将该偏好作为用户配置文件加载进模型中。这种用户偏好是根据标签传播算法从物品内容信息中学习得原创 2021-02-13 19:37:52 · 287 阅读 · 1 评论 -
LSTM 和 Bi-LSTM
前言:转载于https://blog.csdn.net/Smile_mingm/article/details/105202022什么是LSTM与Bi-LSTMLSTM的全称是Long Short-Term Memory,它是RNN(Recurrent Neural Network)的一种。LSTM由于其设计的特点,非常适合用于对时序数据的建模,如文本数据。BiLSTM是Bi-directional Long Short-Term Memory的缩写,是由前向LSTM与后向LSTM组合而成。两者在自转载 2020-10-15 15:28:36 · 5758 阅读 · 0 评论 -
NMT评价指标-BLEU
前言BLEU (其全称为Bilingual Evaluation Understudy), 其意思是双语评估替补。所谓Understudy (替补),意思是代替人进行翻译结果的评估。尽管这项指标是为翻译而发明的,但它可以用于评估一组自然语言处理任务生成的文本。1. Bilingual Evaluation Understudy: BLEU在自然语言处理中的机器翻译任务中, BLEU非常常见, 它是用于评估模型生成的句子(candidate)和实际句子(reference)的差异的指标.它的取值范围在转载 2020-09-20 16:33:36 · 1632 阅读 · 1 评论 -
论文笔记:NAACL-HLT 2018 BERT Pre-training of Deep Bidirectional Transformers for
前言近年来比较优秀的词嵌入模型有word2vec,ELMo,OpenAI GPT,和本文要介绍的BERT。其中word2vec通过全连接神经网络进行训练,ELMo通过堆叠LSTM组件构建网络进行训练,OpenAI GPT和BERT则以NMT任务所提出的模型架构Transformer为基本组件构建网络训练。BERT(Bidirectional Encoder Representations from Transformers)近期提出之后,作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新原创 2020-09-20 09:43:33 · 449 阅读 · 0 评论 -
负采样策略
负采样策略主要来源于NLP中的word2vec中,为了简化训练的过程而提出。参考https://blog.csdn.net/ningyanggege/article/details/87869393https://blog.csdn.net/Oscar6280868/article/details/105678035https://blog.csdn.net/weixin_40248634/article/details/103040193https://blog.csdn.net/qq_3889原创 2020-09-17 14:45:39 · 2069 阅读 · 0 评论 -
论文笔记:Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
前言论文链接:https://www.aclweb.org/anthology/P19-1285/github:https://github.com/kimiyoung/transformer-xl目前在NLP领域中,处理语言建模问题有两种最先进的架构:RNN和Transformer。RNN按照序列顺序逐个学习输入的单词或字符之间的关系,而Transformer则接收一整段序列,然后使用self-attention机制来学习它们之间的依赖关系。这两种架构目前来看都取得了令人瞩目的成就,但它们都局限在捕原创 2020-08-23 18:11:05 · 572 阅读 · 0 评论 -
NLP-NMT-Transformer图解及论文笔记:Attention Is All You Need
前言机器翻译技术的发展一直与计算机技术、信息论、语言学等学科的发展紧密相随。从早期的词典匹配,到词典结合语言学专家知识的规则翻译,再到基于语料库的统计机器翻译,随着计算机运算能力的提升和多语言信息资源的爆发式增长,机器翻译技术逐渐走出象牙塔,开始为普通用户提供实时便捷的翻译服务。Attention机制最早在视觉领域提出,2014年Google Mind发表了《Recurrent Models of Visual Attention》,使Attention机制流行起来,这篇论文采用了RNN模型,并加入了A原创 2020-08-13 17:20:53 · 1266 阅读 · 0 评论