神经网络结构与过拟合问题

1. 网络结构

神经网络主要由以下3部分组成：

• 拓扑结构(topology)
  描述神经元的层次与连接神经元的结构；
• 激活函数
  如常用的激活函数：sigmoid函数、tanh函数…
• 优化算法
  求解最优权重的优化算法

下面是一个全连接的网络结构，这里的全连接就是，神经元与上一层的每一个神经元都有连接。

上图中的隐藏层是2个，即是少量的隐藏层(一般为2层)，一般称为浅层神经网络(传统神经网络)；若是多层的隐藏层的神经网络就称为深度神经网络(DNN)。

2. 过拟合

增加隐藏层的数目以及神经元的个数，会使得网络的结构变得很复杂，其模型预测能力会变强，但可能导致过拟合问题，反而使得效果不好。所以在实际的应用中，隐藏层的数目、神经元的个数这些参数的选择还是很有讲究的。