rnn
文章平均质量分 81
BVL10101111
THU master, interested in ML,DL,DM
github:https://github.com/BenchengY
展开
-
From RNN To LSTM
最近看了一些rnn和lstm的资料,算是科普性的了解了,在此做一个总结。目录: 1RNN 1)RNN结构 2)RNN(本质) 3) The Problem of Long-Term Dependencies of RNN 2LSTM 1)LSTM结构 2)LSTM结构详解 3)Variants on Long Short Term Me原创 2016-12-26 15:17:41 · 2411 阅读 · 0 评论 -
Attention Model(mechanism) 的 套路
最近刷了一些attention相关的paper(照着here的列表+自己搜的paper),网上相关的资料也有很多,在此只讲一讲自己对于attention的理解,力求做到简洁明了。一.attention 的本质 attention其实就是一个加权求和。attention处理的问题,往往面临的是这样一个场景: 你有kk个dd维的特征向量hi(i=1,2,...,k)h_i (i=1,2,...原创 2017-11-07 18:09:38 · 37621 阅读 · 11 评论