深度学习（二）~常用神经网络结构

常用神经网络结构

1. 前馈网络

特点： 每一层神经元接收前一层神经元的输出，相当于有向无环图
实现方式：前馈网络包括全连接前馈网络和卷积神经网络

(1) 全连接神经网络(FNN)

**特点：**每一层是全连接层—即每一层的每个神经元与上一层所有神经元都有连接；
作用：
**a. ** 多个全连接层可以从不同角度提取特征；
**b. ** 全连接层作为输出层有分类和数值预测的功能；也经常用于卷积神经网络。
**缺点：**权重多，计算量大。
**应用：**所有的神经网络均可以利用

(2)卷积神经网络(CNN)

【卷积神经网络的层级结构】

数据输入层
卷积层： 每个神经元看做一个滤波器(filter)，每个滤波器只关注一个特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合　　
ReLU激励层： 非线性映射
池化层： 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量如压缩图像，减小过拟合
全连接层： 对空间排列的特征化成一维的向量

优点： 共享卷积核，对高维数据处理无压力
缺点： 难解释（我们并不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”）
应用： 人脸识别、图像识别

2. 记忆网络

**特点：**对前期学习的信息有记忆功能，可用有向循环图或无向图表示
**实现方式：**记忆网络包括循环神经网络、玻尔兹曼机、受限玻尔兹曼机等
**应用：**常用于文本填充、时间序列、语音识别等序列数据

(1) 循环神经网络(RNN)

RNN的训练算法为：BPTT
【BPTT的基本原理】
a. 前向计算每个神经元的输出值；
b. 反向计算每个神经元的误差项值；
c. 计算每个权重的梯度。
d. 最后再用随机梯度下降算法更新权重

(2) LSTM

与传统的循环神经网络相比，LSTM采用三门机制，输入门、遗忘门以及输出门和一个内部记忆单元。
输入门： 决定从当前步骤添加哪些信息
遗忘门： 控制前一步记忆单元中的信息有多大程度被遗忘掉
输出门： 决定下一个隐藏状态应该是什么

(3) GRU

GRU是在LSTM上进行简化而得到的，只有两个门，分别为更新门和重置门
重置门： 候选隐含状态使用了重置门来控制过去有多少信息被遗忘
更新门： 控制过去的隐含状态在当前时刻的重要性

3. 图网络

特点： 可有向可无向，前馈网络与记忆网络的输入为向量或向量序列，图网络的输入为图结构数据如知识图谱、社交网络、分子网络等

实现方式： 图网络包括图卷积网络、图注意力网络、消息传递神经网络

**总结：**每一种神经网络各有优点，在具体的场景中，根据不用的应用选择不同的网络，也可能会同时用到三种网络搭建更复杂的网络。