全连接神经网络存在很多不足,现在常用的网络是CNN。
一、全连接神经网络的缺点:
在结构方面上:参数居多,容易丢失空间信息(NV结构———(批次,h*w*c))
如果只有两个隐藏层,每层256个节点,则MNIST数据集所需要的参数是:(28*28*256+256*256+256*10)个w,再加上(256+256+10)个b。除了计算过程中需要存储的海量的参数,还有海量的计算。大量的参数过多会导致过拟合。
一个好的拟合应该具有很强的泛化能力,不仅仅是训练时候损失低,测试的时候也需如此。
解决办法:1.训练集增加更多的数据(数据增强)2.降低模型的复杂度
二、卷积神经网络(CNN-Convolutional Neural Networks)
1、为什么用CNN?
在我们最熟悉的图像处理方面,卷积过程是考虑到图像的局部特征,能够更加准确的抽取空间特征。如果使用全连接的话,我们可能会考虑到很多不相关的信息。CNN有平移不变性,因为权值共享,图像平移了,卷积核还是可以识别出来,但是全连接则做不到,其次,目前很多计算采用的是边缘计算&