深度学习与AI+思维简单课程思考4

卷积神经网络的基本思想和应用领域&循环神经网络的基本思想和应用领域。

A1：

卷积神经网络是一个多层的神经网络，每层由多个二维平面（feature map）组成，而每个平面由多个独立神经元组成。其结构包括如下形式的约束：

  特征提取。每一个神经元从上一层的局部区域得到输入，然后提取局部特征。

  特征映射。每一个计算层都是由多个特征映射（多个feature map）组成的，每个特征映射都是平面形式的。平面中每个神经元在约束下共享相同的连接权值集（与上一层对应视觉野范围内节点的所有连边），这样减少了参数数量个减轻了计算负担。

  子抽样。卷积层后面是一个局部子抽样的计算层，由此特征映射（featuremap）的分辨率降低，以降低对变形的敏感度。子抽样层对应与池化过程，此处会有一个池化窗口，池化窗口是不重叠的。

图1 卷积神经网络示意图（C层代表卷积层，S层代表池化层（采样层），S4层之后是一个将高维特征一维化过程，再将多个channel的特征拼接起来作为多层感知机的输入。

卷积层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来。

采样层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

应用领域：

1、CNNs在图像分类领域做出了巨大贡献，也是当今绝大多数计算机视觉系统的核心技术，从Facebook的图像自动标签到自动驾驶汽车都在使用。

2、自然语言处理CNNs对NLP问题的效果非常理想。正如词袋模型（Bag of Words model），它明显是基于错误假设的过于简化模型，但这不影响它多年来一直被作为NLP的标准方法，并且取得了不错的效果。

3、时间序列预测，高光谱图像分析等未来科学的方向。

A2：

       RNN(RecurrentNeuron Network)是一种对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。

 

应用：

1、自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。

2、机器翻译是将一种源语言语句变成意思相同的另一种源语言语句，如将英语语句变成同样意思的中文语句。与语言模型关键的区别在于，需要将源语言语句序列输入后，才进行输出，即输出第一个单词时，便需要从完整的输入序列中进行获取

3、RNNs已经在对无标图像描述自动生成中得到应用。将CNNs与RNNs结合进行图像描述自动生成。这是一个非常神奇的研究与应用。该组合模型能够根据图像的特征生成描述。