论文阅读笔记
文章平均质量分 92
这个专栏里面,我会把自己读过的好的论文,在这里做一个总结,包括一些重要的思想, 读一篇,争取就有一篇的收获,也方便以后查阅的时候快速拿出来看
翻滚的小@强
毕业于某985高校,计算机技术专业,研究方向是数据挖掘和时空序列预测,在学校学习过一些机器学习和深度学习的皮毛,入门过推荐系统,计算机视觉以及NLP和大数据等领域,目前在做大数据分析和挖掘相关的工作, 对人工智能,大数据等各种前沿计算机技术以及其他领域的新事物都特别感兴趣,一直奔跑在学习的路上, 欢迎伙伴们一块学习, 一起交流呀......
展开
-
时空序列预测之Memory In Memory: A Predictive Neural Network for Learning Higher-OrderNon-Stationarity
1. 写在前面今天整理的这篇文章是2019年CVPR上的一篇paper, 依然来自于清华的团队,也是时空序列预测的一篇文章, 这篇文章依然是从一个新的视角–非平稳性的角度去看待到时空序列的预测学习, 前面提到的时空序列预测模型ConvLSTM、PredRNN、PredRNN++等虽然对时空序列有着比较大的建模能力, 但是捕捉时间序列的非平稳性的特征效果不是很好, 没有充分发掘出时间序列的非平稳特征, 问题出在了LSTM的忘记门上, 所以这篇文章为了能够更好的利用时间序列的非平稳性特征, 关键就是改进了这原创 2020-08-25 20:59:09 · 2849 阅读 · 1 评论 -
时空序列预测之EIDETIC 3D LSTM: A MODEL FOR VIDEO PREDICTION AND BEYOND
1. 写在前面今天分享的这篇文章原创 2020-03-01 23:50:00 · 6312 阅读 · 7 评论 -
时空序列预测之PredRNN++(Casual LSTM和GHU解决时空预测学习中的深度困境)
首先声明,虽是原创文章,但是站在了巨人的肩膀上进行创作的,借鉴了车哥AI蜗牛车的一些总结,加上了自己的补充和整理完成。1. 写在前面今天分享的这篇文章是发表在ICML2018年的paper,是基于上一篇PredRNN(用ST-LSTM预测学习的循环神经网络)的又一次改进,上次在最后的时候说过,PredRNN结构效果挺好,但是也存在问题,就是梯度消失,尤其是那个之字形流动的那个,层数一多,时间一...原创 2020-02-23 11:28:39 · 8834 阅读 · 2 评论 -
自然语言处理之Attention大详解(Attention is all you need)
1. 写在前面今天分享的论文是2017年谷歌团队发表的一篇论文,这是一篇非常经典的自然语言处理领域的文章,基于这篇文章,才有了最近非常火的bert, Albert等模型,接触这篇文章是在一次直播中看到的,因为经典,所以就想着读了读(虽然不是搞nlp的,但总感觉知识这东西都有一定的通性,多学一些肯定没有坏处,万一以后要用到呢?)。但是这篇论文本身我读了一遍之后,感觉不太懂,感觉里面有些东西并不是说...原创 2020-02-20 23:06:28 · 12983 阅读 · 9 评论 -
时空序列预测之PredRNN(用ST-LSTM预测学习的循环神经网络)
1. 写在前面今天分享的这篇文章是2017年发表在Nips上的一篇文章,来自于清华的团队。是论文阅读系列的第二篇文章,这篇文章是在ConvLSTM的基础上进行改进的一个版本,所以如果想学习这篇文章,需要先搞懂ConvLSTM的工作原理,可以参考我这篇博客:时空序列预测之Convolutional LSTM Network,这是时空序列学习很重要的一种结构,但是存在的问题就是像本篇论文提到的:记忆...原创 2020-02-16 22:52:05 · 14678 阅读 · 4 评论 -
时空序列预测之Convolutional LSTM Network
1. 写在前面今天分享的这篇论文是nips2015年上的一篇paper, 也是论文阅读系列第一篇文章,这篇文章估计现在看起来有点老了吧,但是它里面提出了一种非常重要的结构:Convolutional LSTM, 这种结构非常擅长捕捉空间关系,所以在时空序列预测研究上起到了非常关键的作用,后面的几篇时空序列预测的文章,都是基于这个结构上进行改进的,所以这一篇文章还是得好好的整理整理。这篇文章的亮...原创 2020-02-15 22:53:30 · 15857 阅读 · 19 评论