omnispace的博客

专注AI,物联网,区块链,安卓以及相关安全技术

【NLP】Attention Model(注意力模型)学习总结

  最近一直在研究深度语义匹配算法,搭建了个模型,跑起来效果并不是很理想,在分析原因的过程中,发现注意力模型在解决这个问题上还是很有帮助的,所以花了两天研究了一下。   此文大部分参考深度学习中的注意力机制(2017版)张俊林的博客,不过添加了一些个人的思考与理解过程。在github上找到一份基...

2019-04-05 17:49:40

阅读数 53

评论数 0

The fall of RNN / LSTM

We fell for Recurrent neural networks (RNN), Long-short term memory (LSTM), and all their variants. Now it is time to drop them!It is the year 2014 a...

2018-05-02 14:14:34

阅读数 156

评论数 0

《Attention is All You Need》浅读(简介+代码)

2017年中,有两篇类似同时也是笔者非常欣赏的论文,分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》,它们都算是Seq2Seq上的创新,本质上来说,都是抛弃了RN...

2018-01-24 18:09:47

阅读数 583

评论数 0

ICLR 2017 | Attention 和 Memory Networks

ICLR 2017 | Attention 和 Memory Networks 原创2016-11-09小 S程序媛的日常程序媛的日常 今天分享 ICLR 2017,主题是 Attention 和 Memory。这两者作为2014年到2016年最火的 Neural Network Mecha...

2017-02-09 06:40:50

阅读数 4734

评论数 3

提示
确定要删除当前文章?
取消 删除