1. DSLAM介绍
(1). 多尺度卷积的引入:
在DSLAM模块中,传统的DCovN结构被多尺度卷积操作所取代。多尺度卷积的设计结合了不同大小的卷积核(例如,3x3、5x5、7x7、11x11、21x21等),这些卷积核通过不同的感受野捕捉图像中多种尺度的特征。这种结构能够有效捕捉图像中的全局和局部特征,从而增强网络对图像中细微信息和大尺度结构的感知能力。
(2). 残差连接的应用:
在每个卷积层后加入残差连接,使得特征信息能够直接通过跳跃连接传递。这不仅解决了深层网络中的梯度消失问题,还使得模型能够更好地保留输入信息,进而改善训练效果,提高特征提取的效率。
(3). 自适应池化与全连接层:
在卷积操作后,DSLAM通过自适应平均池化操作将特征图缩小到1x1的大小,并通过全连接层进行全局信息的压缩和增强。利用自适应池化将不同尺寸的特征图缩放到相同的维度,再通过全连接层对特征进行非线性变换,这一过程能够有效聚合全局上下文信息,从而提高对全局特征的捕捉能力。
(4). 线性注意力机制的整合:
DSLAM在卷积操作后还整合了线性注意力机制,进一步增强了特征之间的相关性。线性注意力通过计算查询(Query)与键(Key)之间的相似度,并使用该相似度对值(Value)进行加权求和,从而获得全局特征的线性组合。这一机制能够在捕捉特征间的依赖关系的同时,显著降低计算复杂度,提高模型的效率和速度。
(5). 权重初始化策略: