【论文阅读笔记】A heterogeneous group CNN for imagesuper-resolution（HGSRCNN）

        由于CNN网络结构的深层，cnn模型面临着训练上的困难。为了克服上述问题，提出了递归学习和残差学习技术来加速训练速度。例如深度递归卷积网络（DRCN）通过残余技术来分割层次信息，以促进精确的特征，防止梯度消失和爆炸。此外，通过跳跃连接融合全局和局部信息的方法来构成一个新的网络架构提高SISR 的学习能力。作为一种替代方法，利用新的组件来获得多级表示，可以提高预测图像的质量。虽然这些方法在SISR中可以优于传统的方法，但它们可能带来较高的复杂度。为了克服这一挑战，作者开发了一种基于低频信息的SR方法。

        (1)提出的52层HGSRCNN使用异构架构和refinement block，以并行和串行的方式增强不同通道的内部和外部交互，以获得不同类型的低频结构信息，非常适合于复杂场景中的SISR。

        (2)一个多尺度的增强机制来引导CNN实现一个对称的体系结构，以逐步促进结构信息。

  论文地址：

A Heterogeneous Group CNN for Image Super-Resolution | IEEE Journals & Magazine | IEEE Xplorehttps://ieeexplore.ieee.org/document/9919146/

论文代码：

GitHub - hellloxiaotian/HGSRCNN: A heterogenous group CNN for image super-resolution (IEEE TNNLS, 2022)https://github.com/hellloxiaotian/HGSRCNN

一：方法

提出的HGSRCNN包括四个部分：两个带有ReLU的卷积层，六个对称的异构组块HGB，一个并行的上采样机制和一个单个卷积层，如图1所示。

                                                            图1：模型整体架构

        每个对称异构组块并行地使用对称组卷积和互补卷积块，以增强不同通道的内外关系，促进更丰富的低频结构信息。考虑到上述增强操作和深度cnn训练的冗余特征，作者将融合了信号增强的refinement block引入了HGB，以去除无用信息来加速训练，refinement block通过整合全局和局部信息了来为深层提供浅层的补充信息。并在SISR中逐步收集低频特征。此外，还采用多尺度并行上采样来训练盲超分模型，将低频特征映射为高频特征，最后，利用信号卷积层构造一个HR图像。

                                                          图二：网路表示

Heterogeneous group block(HGB):    众所周知，以前的SR模型直接融合所有通道的层次特征，这可能会导致冗余特征的强化，增加模型的推理时间。为了解决这个问题，作者提出了HGB ，通过交互不同的通道来提取更广泛和深层的低频结构信息去加强不同通道的关系来增强模型的性能。HGB由两部分组成，分别是异构卷积块以及refinement block

heterogeneous convolutional block（异构卷积块）：对称组卷积块 + 互补卷积块

在不同通道的内部关系增强方面，对称组卷积块中的两个3层子网络分别学习分裂通道的代表性信息，通过串联操作对获得的特征进行concat，以增强它们在SISR中的内部相关性。

refinement block：为了减少冗余信息作者设计了refinement block，为了增强在深层中关于浅层信息的记忆，作者使用了信息增强操作。包括全局信息增强和局部信息增强。

Parallel up-sampling mechanism ：作者为上采样适配了一个控制器，当控制器值为0时，模型将同时训练x2,x3,x4倍的模型，其他调到多少就训练多少倍的模型。

                                                             图三：并行上采样机制

二：实验

 RB:refifinement block

CCB:complementary convolutional block

GSE and LSE:global symmetrical enhancement and a local symmetrical enhancement(六个HGB块外部的两个跳跃连接)

LOSE: local signal enhancement（HGB内部的两个跳跃连接，一个是HGB块从头连到尾，一个是在refinement block那里）

                                                        图四：每个trick的消融实验

Structure of NCN:5-layer Conv+ReLU, 1-layer parallel upsampling mechanism, 1-layer Conv

Structure of SGCN:a combination of 3-layer symmetric group convolutional block, 1layer,Conv+ReLU,1- layer parallel upsampling mechanism and 1-layer Conv.

图五：SGCN与NCN参数量与Flops对比

 

                                         图六，七：分别是set5,set14上的SOTA对比

      RDN和CSFM的PSNR要比HGSRCNN高。但相比HGSRCNN。 RDN、CSFM这两个网络有着更高的复杂度和运行时间。

        在预测大小为1024×1024的HR图像时，HGSRCNN的运行时达到了RDN的4.58%（1024x1024），占SRFBN的4.27%（1024x1024）。表IX，HGSRCNN仅取134层RDN的9.9%和384层CSFM的16.9%，得到近似的SR结果。此外，表九说明了HGSRCNN在flops中只占RDN的10.40%和CSFM的17.70%。

可视化

对比模型是：(a) HR image, (b) VDSR, (c) DRCN, (d) CARN-M, (e) LESRCNN, (f) CFSRCNN,

(g) ACNet and (h) HGSRCNN (Ours).