Deep learning－全连接层神经网络与卷积神经网络

全连接层神经网络与卷积神经网络

全连接层神经网络相比于卷积神经网络存在的问题：因为全连接，所以当相互连接的节点个数增加时，节点之间的边个数会很多，而一条边对应着一个参数，所以全连接层在神经网络节点个数多的时候会存在参数很多的情况。而对于神经网络参数过多带来的影响有在计算上的，也有在模型的拟合程度的。当参数增加，模型容量增加，就容易出现过拟合的情况。所以卷积神经网络能很好地解决这个参数过多的问题。卷积神经网络从这几个方面解决神经网络参数过多的问题：当前层的某个节点只与上一层中部分节点相连接、每一层的节点以三维的结构排列、卷积层中同一个卷积模版的参数是不会发生改变的、存在池化层，能对模型的尺寸进行压缩...这里对这种模型的压缩有一个说法：提取高级信息、提取更深层次的信息。