全连接神经网络的两大缺陷

全连接神经网络的两大缺陷:
(1)在原理方面上：BP神经网络仍然是有监督的传统机器学习方法

根据上图可知，网络对原图进行特征提取和分类，最后由人工标注好的标签判断原图中是否存在猫。
（2）在结构方面上：参数居多，容易丢失空间信息
如果一个隐藏层特征图像大小为100×100，输入层的特征图像大小为100×100，这意味着学习这一层需要100×100×100×100参数。如果以32位的浮点数进行存储，就需要4×10^8的字节的存储量，约等于400MB的参数量。仅仅这样的一个网络层，其模型参数量已经超过了AlexNet网络的参数量，而100×100的特征图像分辨率，已经低于很多任务能够成功解决的下限。除了计算过程中需要存储的海量的参数，还有海量的计算，这些都超过了当时硬件的能力，因此大大限制了网络的大小，尤其是对于一些大的图像输入。

参考链接：https://tianchi.aliyun.com/course/311/3558