【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

---

BEVFusion相关的其他文章链接：

1. 【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
2. MIT-BEVFusion训练环境安装以及问题解决记录
3. 【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
4. 【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
5. 【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
6. 【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

---

1. fuser模块

fuser模块的作用是将LiDAR和camera得到的BEV特征进行融合，这里使用的ConvFuser方法将两个BEV特征融合。

x = self.fuser(features)

将LiDAR=>[4, 256, 180, 180]和camera => [4, 80, 180, 180]进行concat得到 => [4, 336, 180, 180]，然后再卷积得到 =>[4, 256, 180, 180]，具体代码如下。

class ConvFuser(nn.Sequential):
    def __init__(self, in_channels: int, out_channels: int) -> None:
        self.in_channels = in_channels # [80, 256]
        self.out_channels = out_channels # 256
        super().__init__(
            nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(True),
        )

    def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:
        # 先进行concat，然后调用父类的卷积模块
        return super().forward(torch.cat(inputs, dim=1))

融合的结构如下所示：

ConvFuser(
  (0): Conv2d(336, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
)

2. decoder模块

decoder部分由两部分组成，分别是backbone和neck，其中backbone使用的是SECOND，neck部分使用的是SECONDFPN。

2.1 backbone模块

backbone使用的SECOND，和默认的layer_nums=[3, 5, 5]结构不一样，BEVFusion中使用的layer_nums=[5, 5]。所以backbone只有两个分支，都是5个卷积模块组成。

        outs = []
        for i in range(len(self.blocks)):
            x = self.blocks[i](x)
            outs.append(x)
        return tuple(outs)

• 分支一：

第一个分支的输入是fuser的输出，它的大小为[4, 256, 180, 180]，首先经过第一个Con2d将通道降至128，后面再接5个相同的Con2d提取特征，得到outs[0]的大小为[4, 128, 180, 180]。

Sequential(
  (0): Conv2d(256, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (1): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
  (3): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (4): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (5): ReLU(inplace=True)
  (6): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (7): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (8): ReLU(inplace=True)
  (9): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (10): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (11): ReLU(inplace=True)
  (12): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (13): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (14): ReLU(inplace=True)
  (15): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (16): BatchNorm2d(128, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (17): ReLU(inplace=True)
)

• 分支二：

第二个分支的输入是out[0]，这个分支首先经过第一个Conv2d，将通道数128上至256，并且将feature map的长和宽都减半至90，然后在经过5个相同的Conv2d提取特征，最后得到特征outs[1]的大小为[4, 256, 90, 90]。

Sequential(
  (0): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
  (1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
  (3): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (4): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (5): ReLU(inplace=True)
  (6): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (7): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (8): ReLU(inplace=True)
  (9): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (10): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (11): ReLU(inplace=True)
  (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (13): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (14): ReLU(inplace=True)
  (15): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
  (16): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (17): ReLU(inplace=True)
)

2.2 neck模块

neck的作用是将backbone得到的feature map调整至指定大小[4, 256, 180, 180]。

由于backbone得到了两个大小不同的feature map，分别为[4, 128, 180, 180]和[4, 256, 90, 90]，第一个特征使用卷积降低通道数即可，第二个则需要反卷积来提升feature map的大小，实际上源代码也是这么做的。最后将得到两个分支的特征进行concat即可。

        assert len(x) == len(self.in_channels)
        # self.deblocks一共有两个，一个是卷积，一个是反卷积
        ups = [deblock(x[i]) for i, deblock in enumerate(self.deblocks)]
		
		# concat两个分支feature
        if len(ups) > 1:
            out = torch.cat(ups, dim=1)
        else:
            out = ups[0]
        return [out]

self.deblocks中第一个元素的卷积结构如下：

Sequential(
  (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False)
  (1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
)

self.deblocks中第二个元素的反卷积结构如下：

Sequential(
  (0): ConvTranspose2d(256, 256, kernel_size=(2, 2), stride=(2, 2), bias=False)
  (1): BatchNorm2d(256, eps=0.001, momentum=0.01, affine=True, track_running_stats=True)
  (2): ReLU(inplace=True)
)

将两个分支concat得到的feature map大小为：[4, 512, 180, 180]。