[总结] 该如何设计神经网络 [1] - 模块方法功能汇总

近来看看神经网络，有很多经典的神经网络结构，包括2D 的神经网络和3D点云的，但是不理解该如何设计自己的神经网络。当然每一个点都可以有很长的论证和描述，这里只是定性的总结一下，以供自己复习和大家参考。本人愚钝，欢迎大家批评

想要设计新的网络，先总结一下经典网络中的算法的作用

经典的网络结构

卷积层（Convolution）：提取特征

• 训练卷积网络实际上是训练一系列用于特征检测的滤波器
• 训练初始时卷积核是完全随机，不具有任何特征。
• stride（步长） 每次向右或者向上的移动像素个数
• padding： 给边界填充 0，由于卷积会减少图像的大小。可以通过增加0使得前后图像大小不变（same padding）
• 多过滤与多激活： 权值的纵维深度和输入图像的深度是相同的。假设有一个 32323 的输入图像，一般会设计一个同样的三维的卷积和，如n 个 553的卷积核， 则输出变为n 个 二维的 28*28。

池化层 （Pooling）: 减少参数

• 池化的唯一目的是减少图像的空间大小

全连接层：实现分类

• Fully connected layer(FC), 卷积层（提取特征），池化层减少参数，全连接层具有分类类似的交叉熵的损失函数，用于计算误差
• 全连接层起到将学到的分布式特征层表示映射到样本标记空间的作用
• 若上层的输出为 3*3*5， 则用3*3*5*4096 个卷积核，卷积生成了一个 1*4096 特征完成降维分类任务。每一个卷积核都提出了全部的特征。

Dropout 的机制：预防过拟合

• 如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低
• 防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能
• Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的