前言:
在backbone如果采用了FPN, 则RPN层需要将FPN的不同层得到的特征图进行融合。maskrcnn_benchmark将该多层融合的工具函数写入了modeling/rpn/utils.py中,通过该工具类,可以将不同层的特征融合起来,进行统一处理。其代码详解为:
# Copyright (c) Facebook, Inc. and its affiliates. All Rights Reserved.
"""
Utility functions minipulating the prediction layers
"""
from ..utils import cat
import torch
# todo 改变特征层的维度
def permute_and_flatten(layer, N, A, C, H, W):
# 将特征层格式化为特定的维度数据
layer = layer.view(N, -1, C, H, W)
# 改变特征层中不同维度之间的显示顺序
layer = layer.permute(0, 3, 4, 1, 2)
# 将特征层中除了通道数和图片数以外的其他维度合并在一起
layer = layer.reshape(N, -1, C)
return layer
# todo 将所有的特征图拼接到一起
def concat_box_prediction_layers(box_cls, box_regression):
"""
由RPN HEAD获得的box_cls和box_regression分别表示从FPN获得的不同层的特征图上
将通道数分别修正为锚点(anchor)的ratio个数和其个数×4
RPN HEAD获得的特征图大小的含义为:每一个特征图上每一个位置的一个点表示其位置对应的锚点
不同