【深度学习-三步走-笔记总结】

基础层

全连接层已经能解决问题，为什么还需要设计别的基础层？
"多层抽象表示"和"感受野增大"是深度学习领域中的基本概念。
然而全连接层仅实现了“多层抽象表示”，未实现“感受野增大”。

当数据规模（神经元个数）较大时，可以采用什么方法？
（1）降低隐藏层中神经元的数量：减少隐藏层中神经元的数量可以降低模型的复杂性，缩减参数空间，从而减少计算量。可以通过减少每个隐藏层中的神经元数量或者减少隐藏层的数量来实现。
（2）使用稀疏连接：将全连接的神经网络结构改为部分连接或者稀疏连接，即只保留部分神经元之间的连接关系，可以有效减少参数的数量和计算复杂度，提高模型的计算效率。

降低隐藏层中神经元的数量可以通过以下方式实现：
（1）局部性：典型特征远远小于整幅图像。
（2）相同性：相同的特征可能在图像的不同位置出现，因此可以让部分神经元采用相同的参数。这样一来，神经元的数量可以大大减少，而且模型仍然可以有效地捕获图像中的重要特征。
（3）尺度不变性：通过在模型中引入尺度不变性的设计，可以确保图像的尺度变化（例如图像的放大或缩小）不会影响模型对目标特征的识别能力。例如，可以通过使用池化层来实现尺度不变性，使得模型对图像的尺度变化具有鲁棒性。

卷积