在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。
在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。
点击本文底部的「阅读原文」即刻加入社区,查看更多最新论文推荐。
这是 PaperDaily 的第 91 篇文章@Ttssxuan 推荐
#Recurrent Neural Networks
本文是上海交大发表于 COLING 2018 的工作,论文提出了一种对 RNN 进行加速的方法,相对标准 RNN 其可以加速达到 136 倍,如果针对长序列,可以得到更大的加速比,此外从数学上证明了,RNN 是 SRNN 的一个特例。
SRNN 把 RNN 序列分成每份 K 份,这样每份可以各自运行(并行),得到长度为 N 的新序列,后续可以新序列上继续如上操作,一直到序列长度等于 1 或满足需求。通过在 6 个较大规模的情感分类数据集上测试,相比于 RNN,SRNN 都取得很大的性能优势。
▲ 论文模型:点击查看大图
论文链接
https://www.paperweekly.site/papers/2143
源码链接
https://github.com/zepingyu0512/srnn
@pwathrun 推荐
#Sentence Representations
SentEval 是 Facebook AI Research 推出的一个用于测评 Sentence representation model 性能的 framework。其中自定义了至少 13 个任务(后续有添加),任务数据包括了文本文类,文本相似性检测,NLI,图片摘要的任务。其着眼点是目前 NLP 领域内不同模型的跑分不能很好的进行复现,进而导致横向比较模型性能比较困难的痛点。
任何已训练的模型都已放在 SentEval 框架内,SentEval 会使用目标任务来对提供的模型进行测试,因为测试环境统一,以此获得的评测结果可以和其它的模型的测试分数进行统一的比较,而不是只是比较论文中的纸面数据,有利于复现相关模型的真实性能,而且是相关模型针对不同 NLP 任务的性能。
具体实现是通过自定义和修改 SentEval 的固定命名方法(batcher (),prepare ()等)使得 SentEval 可以将目标任务的文本导入模型,获得向量输出,进而进行相关任务的比较。比如文本分类就是获得向量输出之后训练一个分类器来比较分类的准确率。
▲ 论文模型:点击查看大图
论文链接
https://www.paperweekly.site/papers/2105
源码链接
https://github.com/facebookresearch/SentEval
Learning Chinese Word Representations From Glyphs Of Characters
@mwsht 推荐
#Chinese Word Representations
本文是台湾大学发表于 EMNLP 2017 的工作,论文提出了一种基于中文字符图像的 embedding 方法,将中文字符的图像输入卷积神经网络,转换成为词向量。因为中文是象形文字,这样的词向量能够包含更多的语义信息。
▲ 论文模型:点击查看大图
论文链接
https://www.paperweekly.site/papers/2141