#论文 《Towards Binary-Valued Gates for Robust LSTM Training》
前两周就看到这篇论文的微信号文章介绍了,今天有空拿出来看一下,梳理一下思想。
这个论文主要解决的是在LSTM中,发现记忆门和遗忘门的值的分布不够显著,和LSTM设计思想中想让门表示记忆或者遗忘的意思不太一致,所以论文作者提出了用一种方法(Gumbel- Softmax estimator)来对门中的阈值进行改进,从而让阈值更加显著的趋向0或者1,近似二值化。这样做有几个好处:
和设计遗忘门...
原创
2018-08-23 18:23:41 ·
606 阅读 ·
0 评论