旧时重提（关于卷积神经网络在语音鉴定方面的成就）

      以下资料主要是为了解决图像智能问答的应用模型（SANs 与Show and Tell的区别）
深度学习领域里的很多主要突破都来源于卷积神经网络（CNNs 或者 ConvNets），但对大多数人来说卷积神经网络是一个非常不直观的推断过程。我一直想剖析卷积神经网络的各个部分，看看它在每个阶段的图像处理结果是怎样的，而本篇文章就是我的方法简述。
从高层来看卷积神经网络
首先，卷积神经网络擅长干什么？卷积神经网络主要被用来寻找图像中的特征。你可以通过卷积一幅图像来寻找这些特征。卷积神经网络的前几层能够识别线和角，而后随着我们把神经网络做得更深（层更多），我们能把这些特征在神经网络里继续传递下去，并在神经网络的高层开始识别更复杂的特征。卷积神经网络的这个特性使得它非常擅长图像中的物体识别。
什么是卷积神经网络？
卷积神经网络是一个通常包含几种不同类型层的神经网络，它里面每一层是卷积层、或者池化（Pooling）层、或者激活层，三者之一。
深度学习领域里的很多主要突破都来源于卷积神经网络（CNNs 或者 ConvNets），但对大多数人来说卷积神经网络是一个非常不直观的推断过程。我一直想剖析卷积神经网络的各个部分，看看它在每个阶段的图像处理结果是怎样的，而本篇文章就是我的方法简述。

从高层来看卷积神经网络

首先，卷积神经网络擅长干什么？卷积神经网络主要被用来寻找图像中的特征。你可以通过卷积一幅图像来寻找这些特征。卷积神经网络的前几层能够识别线和角，而后随着我们把神经网络做得更深（层更多），我们能把这些特征在神经网络里继续传递下去，并在神经网络的高层开始识别更复杂的特征。卷积神经网络的这个特性使得它非常擅长图像中的物体识别。
按照日本学者邦彦福岛教授理论这种现象就是convlutional layers，feedforward layers，这种layers就是feedforward。
我们把feedforward  layer指的是vector内部在不同维度上的信息交互（理解为映射的函数关系）；convolutional layer是逐次扫描的方式在vector的局部循环交互；recurrent layer就是在hidden state增加了loop，从使劲维度上进行了展开，在不同时刻的的多个vector之间的信息交换
深度–主要体现在将分类/回归和特征提取结合在一起训练获得。
Rwcurrent layer和comvolutional layer一般是在特征提取层。

语言识别用Recurrent layer学习听主要是分析听取方式处理声音后送到分类器
大脑是通过已有的关系神经元信息反射出单元特征提取层提取后送到分类器比对理解翻译。

图像是按照图片的像素特征：颜色特征（RBG  HSV  Lab等）；几何特征（Edge  Corner  Blob等）；纹理特征（HOG  LBP  Gabor等）；局部特征（SIFT  SURF  FAST）这些参数属于convolutional layer主要是学习  如何观察，通过这种观察方式处理后送到分类器，这种通过局部扫描比对后合并是建立在一个全连接的框架下进行，防止噪音污染。
网络结构中的特征结构层是时间序列处理的Recurrent layer的层
同时也是Yoshua Bengio所描述的 automatic feature discovery+high level （特征层）；mapping from features to output是分类/回归层。将二者融合就出现了“深度”在DNN中加深对SVM的Gaussian Processes和回归tesk后表现优秀。：https://link.zhihu.com/?target=http%3A//tunelayer.readthedocs.io/en/latest/user/tutorial.html
这样做可以使得池化层、卷积层、激活层时间跨域式特征域链接。

参考文献：http://cs231n.github.io/convolutional-networks/
http://vision.stanford.edu/teaching/cs231n/
http://deeplearning.net/tutorial/

https://github.com/erikreppel/visualizing_cnns
Andrej Karpathy’s cs231n (http://cs231n.github.io/convolutional-networks/)

A guide to convolution arithmetic for deep learning by Vincent Dumoulin and Francesco Visin (https://arxiv.org/pdf/1603.07285v1.pdf)

http://blog.csdn.net/yaoxingfu72/article/details/50764087Deep Residual Learning 论文解析      http://blog.csdn.net/sunbaigui/article/details/50906002caffe]深度学习之MSRA图像分类模型Deep Residual Network(深度残差网络)https://github.com/KaimingHe/deep-residual-networks   http://lib.csdn.net/article/deeplearning/50854       论文阅读笔记】DEEP COMPRESSION:COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION… http://blog.csdn.net/joshuaxx316/article/details/52514978   https://medium.com/netflix-techblog]