![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
为什么四川人喜欢日李先人
爱运动、爱摄影、喜欢历史、喜欢代码,准备读博的蓝孩子
展开
-
从word2vec到bert
从word2vec到bert这周读的是《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》这篇文章,发表于2018年,作者是Google AI language的研究人员,作者针对语言模型的学习提出了基于深度双向transformer的模型结合MLM、NSP等方法进行词向量的预训练,...原创 2019-09-18 10:09:48 · 840 阅读 · 0 评论 -
《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》
九月份第三周论文笔记这周读的是《A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION》这篇文章,作者主要有两个创新点:提出了改进的注意力机制intra-attention;将强化学习的方法加入到了模型的训练过程中,提高抽取式摘要的可读性模型还是基于经典的encoder-decoder架构:绿色向量C是将encoder每一步的隐层输出做注...原创 2019-09-27 09:42:36 · 1006 阅读 · 3 评论 -
《Pointer Networks》
这周读的是《Pointer Networks》这篇文章。作者是Google brain和UC Berkeley的研究人员,作者在本文中通过对编码器-解码器机制和注意力机制进行改进,提出了新的网络结构pointer network,并将其运用到解决组合最优化问题。下图为seq2seq模型与指针网络的对比:可以看出传统的seq2seq模型最终产生的是一个序列,且序列中包含的元素个数与输入序列中...原创 2019-09-29 09:48:30 · 574 阅读 · 0 评论 -
《Searching for Effective Neural Extractive Summarization: What Works and What’s Next》
文章介绍 这周读的是《Searching for Effective Neural Extractive Summarization: What Works and What’s Next》,发表于2019ACL,并且做了oral talk。作者是复旦大学计算机学院的研究人员。文章主要探究的是不同的网络结构、迁移知识、学习策略会怎样有益于神经抽取式摘要系统。 当前的研究...原创 2019-09-30 09:51:00 · 289 阅读 · 0 评论 -
《Using Human Attention to Extract Keyphrase from Microblog Post》
这周读的是《Using Human Attention to Extract Keyphrase from Microblog Post》,发表在ACL2019上,作者是南京理工大学的zhang yingyi和zhang chengzhi,并且做了oral talk。作者的主要思路是在基于双向LSTM的基础上将人类的注意力机制加入到微博或者推特的关键词提取上来,取得了非常好的效果。相关情况介绍...原创 2019-10-08 09:54:31 · 641 阅读 · 0 评论 -
《Categorizing and Inferring the Relationship between the Text and Image of Twitter Posts》
文章介绍 这周读的是《Categorizing and Inferring the Relationship between the Text and Image of Twitter Posts》这篇文章,发表于ACL2019会议上,并且做了oral talk。文章主要做的工作如下:使用推特提供的api从推特获取了大约5000条包含图文信息的数据;并收集了他们的人口统计学数据...原创 2019-10-10 09:41:25 · 566 阅读 · 0 评论