深度学习
Alanaker
菜狗子,边笑边跑
展开
-
论文阅读笔记 Predicting Future Frames using Retrospective Cycle GAN
文章目录0 摘要1 介绍2 相关工作3 解决方案3.1 目标函数3.1.1 Reconstruction losses3.1.2 Adversarial losses0 摘要两个Discriminator(一个判断frame是否真实,一个判断frame的sequence是否真实), 一个Generator组成了作者的网络1 介绍首先作者的generator可以同时预测未来与过去的帧, 然后作者在预测的帧之间加上了周期一致性。回溯预测(retrospective)的基本思想是,如果预测的未来帧是真实的原创 2020-06-28 13:25:50 · 884 阅读 · 1 评论 -
论文阅读笔记《Memory In Memory: A Predictive Neural Network...》
0 摘要与介绍时空序列预测任务定义作者认为自然界中的时空序列预测问题很多都是高度非平稳(highly non-stationary) 的随机过程(即随机过程的统计特性随时间的推移而变化),不过根据Cramer的分解公式,任一非平稳的随机过程可以被分解为确定的,时变的多项式加上一个均值为0的随机项(看看这里)。通过应用不同的适当的操作,作者认为可以将时变的多项式转化为一个常量,使得确定性的部分具有可预测性。要解决的问题作者认为以前的LSTM魔改网络(如PredRNN)缺少对非平稳信息的建模让网络很难有原创 2020-05-22 17:41:26 · 1020 阅读 · 0 评论 -
论文阅读笔记《SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summa》
1 摘要这个模型达到2017年的state-of-art两大优势:提出了一套简洁明了的公式,很好地解释了从一些抽象特征: 信息内容(information content),显著度(salience),新颖度(novelty) 到预测结果的过程提出了一种新的训练机制,可以使用生成式训练机制来训练这个抽取式模型2 介绍自动文档摘要方法主要分为抽取式(extractive)和生成式(a...原创 2019-02-08 22:25:29 · 3425 阅读 · 4 评论 -
论文阅读笔记《Get To The Point: Summarization with Pointer-Generator Networks》
文章目录摘要一 介绍二 模型2.1 序列->序列架构加上注意力机制模型(seq2seq+attention model)这是一篇ACL2017的论文,偏工程性,模型实用性强,可以说是生成式摘要技术的里程碑(特别是对于标题生成任务来说),作者也都是大牛(大家如果上过cs224n的课,应该对Manning教授不陌生吧)摘要在生成式摘要任务中,对于传统的seq2seq+attention的模...原创 2019-04-05 23:51:53 · 3791 阅读 · 2 评论 -
一文弄懂关于循环神经网络(RNN)的Teacher Forcing训练机制
文章目录一 RNN在训练过程中的问题二 RNN的两种训练模式三 什么是Teacher Forcing四 Free-Running vs Teacher Forcing 实例4.1 Free-running 训练过程4.2 Teacher-Forcing 训练过程五 Teacher Forcing的缺点及其解决办法5.1 Teacher Forcing的缺点5.2 集束搜索(Beam Search)...原创 2019-04-08 16:07:11 · 30187 阅读 · 3 评论