CNN可视化的一些理解

如果feature map中有很多噪声，这表示网络可能还没有收敛，或者学习速度不太对，或者是正则化没有做好；若feature较为平滑，干净，并且特征也呈现出了多样化，这表示了训练较好。

最直观的可视化手段，就是去看前向传播中神经网络各层的激活（即经过激活函数后的状态）。对于ReLU激活函数而言，在刚开始训练的时候，激活看上去都是呈滴状的，且较为密集，之后会逐渐变得稀疏，呈局部化。如果一些激活值一直是0，那么很有可能说明学习速率太高了。 

CNN主要被用来找寻图片中的模式。这个过程主要有两个步骤，首先要对图片做卷积，然后找寻模式。在神经网络中，前几层是用来寻找边界和角，随着层数的增加，我们就能识别更加复杂的特征。这个性质让CNN非常擅长识别图片中的物体。

卷积层的主要目的是滤波。当我们在图片上操作时，我们可以很容易得检查出那部分的模式，这是由于我们使用了滤波，我们用权重向量乘以卷积之后的输出。当训练一张图片时，这些权重会不断改变，而且当遇到之前见过的模式时，相应的权值会提高。来自各种滤波器的高权重的组合让网络预测图像的内容的能力。 这就是为什么在CNN架构图中，卷积步骤由一个框而不是一个矩形表示; 第三维代表滤波器。

来源：https://blog.csdn.net/ls617386/article/details/73656069

            http://www.cnblogs.com/bnuvincent/p/9612686.html

CNN是一种专门用来处理具有类似网格结构的数据的神经网络，例如时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格）和图像数据（可以看作是二维的像素网格）

当处理时间序列数据时，卷积产生一条用来表明输入中出现不同特征的某种时间轴。如果我们把输入中的一个事件向后延时，在输出中也会有完全相同的表示，只是时间延时了。

池化的平移不变性：不管采用什么样的池化函数，当输入做出少量平移时，池化能帮助我们的表示近似不变。对于平移的不变性是说当我们把输入平移一微小的量，大多数通过池化函数的输出值并不会发生改变。

局部平移不变性是一个很重要的性质，尤其是当我们关心某个特征是否出现而不关心它出现的具体位置时。

对于RD来说，一些特定的词（消极词疑问词等等）的权重可能很大，CNN可以做到无论这些词出现在什么位置，都可以捕捉到。转化成二维矩阵，用卷积核获取事件不同层面的信息。

卷积神经网络的核心思想是捕捉局部特征， 起初在图像领域取得了巨大的成功， 后来在文本领域也得到了广泛的应用。 对于文本来说， 局部特征就是由若干单词组成的滑动窗口， 类似于N-gram。 卷积神经网络的优势在于能够自动地对Ngram特征进行组合和筛选， 获得不同抽象层次的语义信息。 由于在每次卷积中采用了共享权重的机制， 因此它的训练速度相对较快， 在实际的文本分类任务中取得了非常不错的效果。

LSTM 是我们在 RNN 中获得的重要成功。很自然地，我们也会考虑：哪里会有更加重大的突破呢？在研究人员间普遍的观点是：“Yes! 下一步已经有了——那就是 注意力 ！” 这个想法是让 RNN 的每一步都从更加大的信息集中挑选信息。例如，如果你使用 RNN 来产生一个图片的描述，可能会选择图片的一个部分，根据这部分信息来产生输出的词。实际上， Xu, et al. (2015) 已经这么做了——如果你希望深入探索 注意力 可能这就是一个有趣的起点！还有一些使用注意力的相当振奋人心的研究成果，看起来有更多的东西亟待探索……https://www.jianshu.com/p/9dc9f41f0b29这个文章要好好读读，包括里面的论文!

RNN最后一层的状态h编码了整个序列的信息， 因此可以作为整篇文档的压缩表示， 以此为基础的结构可以应用于多种具体任务。
 

莫烦python：

和以前一样, 我们用一个 class 来建立 RNN 模型. 这个 RNN 整体流程是

1. (input0, state0) -> LSTM -> (output0, state1) ;
2. (input1, state1) -> LSTM -> (output1, state2) ;
3. …
4. (inputN, stateN)-> LSTM -> (outputN, stateN 1) ;
5. outputN -> Linear -> prediction . 通过LSTM分析每一时刻的值, 并且将这一时刻和前面时刻的理解合并在一起, 生成当前时刻对前面数据的理解或记忆. 传递这种理解给下一时刻分析.我们将图片数据看成一个时间上的连续数据, 每一行的像素点都是这个时刻的输入, 读完整张图片就是从上而下的读完了每行的像素点. 然后我们就可以拿出 RNN 在最后一步的分析值判断图片是哪一类了.