Can Liu

废话不说，进入正题。为什么需要RNN在讨论RNN之前，首先我们来探讨一下—既然我们已经有了人工神经网络和CNN（卷积神经网络），为什么还需要RNN（循环神经网络，嗯，很多地方喜欢称之为递归神经网络，不管穿了什么马甲，其实是一个东西）？原因很简单，无论是卷积神经网络，还是人工神经网络，他们的前提假设都是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但在现实世界中，很多元素都是相互...

本人菜鸟本鸟，最近开始学习深度学习，在深度学习的学习上还谈不上深度。在自己的学习过程中，发现自己在evernote上记的笔记有点多，于是想将一些资料整理一下和大家分享。本人目前研究生在读，可能学习深度学习的方式对有些人来说并不合适，秉承“来都来了”的原则，希望大家能看两眼。如果能对你的学习有所帮助，那我也不算白敲这么写字。话不多说，进入正题。视频/书籍资料吴恩达的教学视频，个人认为如果你...

介绍最近在看一篇论文，基于CNN和RNN实现岩石描述的文本生成，里面用到LSTM和attention mechanism。有对这篇论文感兴趣的朋友请戳这里。在恶补相关知识和查阅相关资料后，在此分享我对LSTM的理解。文章内容借鉴知乎大牛YJango的专栏。梯度消失和梯度爆炸如下图所示，循环神经网络用相同的方式来处理每个时刻的数据。我们希望循环神经网络可以将过去时刻发生的状态信息传递给当前时...

同样是在上一篇博客中我所提到的最近在看的论文使用的模型中，初次接触Word Embedding。就是下面这个模型（Figure 3），让我一个小白被迫的主动学习了超多基础知识，当然，我在拿着这篇论文去给老师讲的时候脑子并没有缕的很清楚，现在想想，真是辛苦老师了。话不多说，进入正题，说说我对Word Embedding的理解。文章内容借鉴吴恩达的视频和大牛YJango的专栏。单词表达在卷积神...