卷积神经网络常见结构

卷积神经网络常见结构

---

卷积神经网络中常见的层类型有：

• 卷积层（CONV）
• 激活函数（ACT 或 RELU）
• 池化层（POOL）
• 全连接层（FC）
• Batch normalization（BN）
• Dropout（DO）

其中常见的组合为：

注： * 操作代表这里需要一次或者多次；?操作符代表这是可选操作，可以出现0次或者多次。

对于以上重复次数的常见选择是：

• $0 <= N <=3$
• $M >= 0$
• $0 <= K <= 2$

---

以上并没有谈及Batch normalization（BN）的位置，BN的位置主要有两种：

1. normalize before activation
   
2. normalize after activation
   

增加BN层的好处是，可以提高训练时的准确性和降低损失函数的得分。

注： 在大部分情况下，使用normalize after activation，可以使得分类得到更高的准确率。

---

更多文档可以查看 https://github.com/sjsdfg/deeplearning4j-issues。
你的star是我持续分享的动力