![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文速读
betterMia
专注时空数据挖掘,交通大数据分析,地图匹配。
展开
-
【论文速读】Sharing Attention Weights for Fast Transformer
Sharing Attention Weights for Fast Transformer2019, IJCAI.这篇论文的主要思想是通过共享注意力权重来加速Transformer。(关于Transformer,网上已有很多优秀的解读了,不了解的可以看看这篇。)作者在10个公开数据集上进行了实验,对比其他baselines,至少能够提速1.3倍。Introduction由于Transf...原创 2019-12-16 13:57:52 · 897 阅读 · 2 评论 -
【论文速读】Gated Feedback Recurrent Neural Network
Gated Feedback Recurrent Neural Network2015, ICML. [paper]提出了一种新的循环神经网络的架构gated-feedback RNN (GF-RNN),设计了一种全局门控单元(global gating unit)控制信息如何从上层网络传递到底层网络。作者认为GF-RNN表现好的主要原因在于,它可以自适应地使得不同的RNN层建模不同时间尺度...原创 2019-12-14 15:52:18 · 858 阅读 · 0 评论 -
【论文速读】Towards Better Modeling Hierarchical Structure for Self-Attention with Ordered Neurons
2019 EMNLP上的一篇文章。[paper]一些研究表明,基于self-attention networks(SANs)和RNNs的混合建模要比单独使用二者建模表现更好[1],并且在很多自然语言处理任务中,对层次结构的建模十分重要。因此本文的 基本思想 就是使用Ordered Neurons LSTM(ON-LSTM)[2]对基于SANs和RNNs二者的混合模型进行改进,使其能够对层次结构进...原创 2019-11-14 20:24:52 · 362 阅读 · 0 评论 -
【论文速读】Ordered Neurons:Integrating Tree Structures into Recurrent Neural Networks
2019 ICLR上的一篇文章。[paper]虽然自然语言通常以序列形式呈现,但语言的基本结构并不是严格序列化的。语言学家们一致认为,该结构由一套规则或语法控制,且规定了单词组成语句的逻辑。不管其表现形式如何,这种结构通常是 树状 的。基于此,本文提出了一种面向循环神经网络的新型归纳偏置:有序神经元,将潜在树结构整合到循环模型中。这种归纳偏置增强了神经元之间的依赖性,这种依赖性反映了每个神经...原创 2019-11-14 16:24:41 · 363 阅读 · 0 评论 -
【论文速读】UrbanFM: Inferring Fine-Grained Urban Flows
京东城市计算郑宇等人与高校联合发表在2019 KDD上的一篇论文。[paper][code]任务端到端的深度学习框架,以粗粒度的城市网格流量和天气、日期时间等其他影响因素作为输入,最后得到细粒度的城市网格流量。下图左侧是一个粗粒度级的网格人流量,右侧是一个细粒度级的网格人流量。多个细粒度级区域的流量之和等于一个粗粒度级区域的流量。挑战1、空间相关性空间层级结构:多个细粒度级区域的流量...原创 2019-10-16 17:32:26 · 1135 阅读 · 1 评论 -
【论文速读】Stock Price Prediction via Discovering Multi-Frequency Trading Patterns
Liheng Zhang§, Charu Aggarwal, Guo-Jun Qi*, Stock Price Prediction via Discovering Multi-Frequency Trading Patterns, in Proceedings of ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD...原创 2019-09-19 11:28:06 · 2101 阅读 · 1 评论