(一) Oriented R-CNN


欢迎访问个人网络日志🌹🌹知行空间🌹🌹


论文:Oriented R-CNN for Object Detection

代码:OBBDetection

西北工业大学的Xingxing Xie等于2021年08月提交到ICCV 2021的论文

0.基础介绍

在这里插入图片描述

与水平检测框不同,旋转检测框会给出对象的minAreaRect,是带角度的物体检测框。结合水平检测框的方法,旋转框检测常用的方法有以下几种。Rotated Region Proposal Network,参考Faster RCNN中提出的RPN,Rotated RPN在每个特征图上使用3种scale,3种ratio,6种angle共计54个锚框。这种方法可以提高对象检测的召回率,但是因引入过多的anchor,譬如在80x80x54的特征图上会生成345600个候选框,会导致占用过多的内存和推理时间。RoI Transformer使用RPN, RoI Alignment and regression来生成Oriented Proposals,这种方法相比Rotated RPN减少了参数量,但依然存在额外的计算量。Oriented RPN,本文提出的方法,使用本文提出的中点偏移Midpoint Offset旋转框表示法,将RPN输出Proposals的位置回归分支由4个变量改成6个变量来生成候选框,相比前两种方法,该方法使用全卷积的RPN,具有更少的运算量。

1.旋转框的中点偏移表示法

在这里插入图片描述

w w w h h h是旋转框的外接矩形框的宽高, x , y x,y x,y是旋转框的外接矩形框的中心的坐标, △ α \triangle \alpha α △ β \triangle \beta β是旋转矩形框顶点偏离中心的距离。旋转矩形框的4个顶点坐标为:

在这里插入图片描述

通过这种表示方式,巧妙的将角度问题表示成了距离,可以使用 L 1 L_1 L1 loss来直接回归,规避了多边形IoU计算的不可导和角度表示时的边界问题。

2.Oriented R-CNN架构

在这里插入图片描述

Oriented R-CNN的整体架构如上图,与Faster R-CNN中的结构基本一样,除了RPN结构位置回归分支输出的回归变量由4个 ( x , y , w , h ) (x,y,w,h) (x,y,w,h)变成了6个 ( x , y , w , h , △ α , △ β ) (x,y,w,h,\triangle \alpha, \triangle \beta) (x,y,w,h,α,β),输出的是Oriented Proposals。在检测头部分根据proposalsRoI Alignment时,因Oriented RPN生成的是旋转的候选框,因此做RoI Align时,需要先对RoI做旋转,因此称之为RotatedRoIAlign

2.1 Oriented RPN

Oriented RPN中使用的仍然是水平anchor,每层特征图上共3个,宽高比分别为 1 : 2 , 1 : 1 , 2 : 1 1:2,1:1,2:1 1:2,1:1,2:1,在 { P 2 , P 3 , P 4 , P 5 , P 6 } \{P_2,P_3,P_4,P_5,P_6\} {P2,P3,P4,P5,P6}上锚框anchor的面积分别为 { 3 2 2 , 6 4 2 , 12 8 2 , 25 6 2 , 12 8 2 } \{32^2,64^2,128^2,256^2,128^2\} {322,642,1282,2562,1282}个像素。

每个anchor使用四维向量表示:

a = ( a x , a y , a w , a h ) a = (a_x,a_y,a_w,a_h) a=(ax,ay,aw,ah)
其中 ( a x , a y ) (a_x,a_y) (ax,ay)表示锚框中心, ( a w , a h ) (a_w,a_h) (aw,ah)表示锚框的宽和高。

Oriented RPN的输出是proposals相对于anchor的偏移量,
δ = ( δ x , δ y , δ w , δ h , δ α , δ β ) \delta = (\delta_x, \delta_y, \delta_w, \delta_h, \delta_{\alpha},\delta_{\beta}) δ=(δx,δy,δw,δh,δα,δβ)
再通过以下公式对回归得到的偏移量解码即可得到proposals:
{ x = a w ⋅ δ x + a x , y = a h ⋅ δ y + a y w = a w ⋅ e δ w , h = a h ⋅ e δ h Δ α = δ α ⋅ w , Δ β = δ β ⋅ h \left\{\begin{matrix} x=a_w \cdot\delta _x+a_x,& y=a_h \cdot\delta _y+a_y\\ w=a_w\cdot e^{\delta _w}, & h=a_h\cdot e^{\delta _h}\\ \Delta\alpha =\delta _\alpha \cdot w, & \Delta\beta =\delta _\beta \cdot h \end{matrix}\right. x=awδx+ax,w=aweδw,Δα=δαw,y=ahδy+ayh=aheδhΔβ=δβh

如旋转框的中点偏移表示法图中所示,公式中的 ( x , y ) (x,y) (x,y)表示proposal的中心, ( w , h ) (w,h) (w,h)表示外接矩形框的宽和高, Δ α \Delta\alpha Δα Δ β \Delta\beta Δβ表示旋转框的偏移量。

既然Oriented RPN的回归分支输出的是bounding box位置的偏移量,因此在网络的训练过程中需要先将输入对应的ground truth boxproposal完成匹配(可以多个proposal对应1个gt box),然后还需要将proposal和对应的gt box编码成偏移量的形式 t i ∗ = ( t x ∗ , t y ∗ , t w ∗ , t h ∗ , t α ∗ , t β ∗ ) t_i^*=(t_x^*,t_y^*,t_w^*,t_h^*,t_{\alpha}^*,t_{\beta}^*) ti=(tx,ty,tw,th,tα,tβ),作为回归分支的目标,编码公式为:

{ t α ∗ = Δ α g / w g , t β ∗ = Δ β g / h g t w ∗ = l o g ( w g / w a ) t h ∗ = l o g ( h g / h a ) t x ∗ = ( x g − x a ) / w a , t y ∗ = ( y g − y a ) / h a \left\{\begin{matrix} t_\alpha^*=\Delta \alpha_g/w_g, & t_\beta^*=\Delta \beta_g/h_g\\ t_w^*=log(w_g/w_a) & t_h^*=log(h_g/h_a)\\ t_x^*=(x_g-x_a)/w_a, & t_y^*=(y_g-y_a)/h_a \end{matrix}\right. tα=Δαg/wg,tw=log(wg/wa)tx=(xgxa)/wa,tβ=Δβg/hgth=log(hg/ha)ty=(ygya)/ha

其中, ( x a , y a , w a , h a ) (x_a,y_a,w_a,h_a) (xa,ya,wa,ha)分别表示水平锚框的中心和宽高, ( x g , y g , w g , h g ) (x_g,y_g,w_g,h_g) (xg,yg,wg,hg)分别表示旋转矩形框外接矩形的中心和宽高, Δ α g \Delta \alpha_g Δαg Δ β g \Delta \beta_g Δβg分别表示旋转矩形框的偏移量。

在以上的介绍中,有两个地方值的注意。一个是label assignment中,是先求ground truth oriented box的外接矩形,然后计算水平anchor和外接矩形的IoU来实现标签匹配的,所以标签匹配依靠的仍然是水平检测框之间的IoU。可以参考MMROTATE中的代码实现:

# mmrotate/models/dense_heads/oriented_rpn_head.py
# line 75-81
gt_hbboxes = obb2xyxy(gt_bboxes, self.version)
assign_result = self.assigner.assign(anchors, gt_hbboxes, gt_bboxes_ignore, None if self.sampling else gt_labels)
sampling_result = self.sampler.sample(assign_result, anchors, gt_hbboxes)

另外一点是,Oriented RPN训练中使用的损失函数,分类使用的交叉熵,回归分支使用的SmoothL1Loss

# configs/oriented_rcnn/oriented_rcnn_r50_fpn_1x_dota_le90.py
loss_cls=dict(type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),
loss_bbox=dict(type='SmoothL1Loss', beta=0.1111111111111111, loss_weight=1.0)

2.2 Rotated RoI Alignment

本篇文章另外一部分工作主要就在拿到proposals后对RoI的对齐池化上。

Faster R-CNN中使用的RPNMask R-CNN中提出的RoIAlign的介绍可以参考:(六) Region Proposal Network(五)ROI Pooling 与 ROI Align

Oriented RPN给出的proposal是带角度的外接矩形,这和水平框的不太一样,要想对Oriented RoIAlignment,需要先将Orientd RoI做一个旋转,然后就可以按照水平的常规RoI来处理了,这就是RotateRoIAlign的全部,如下图所示:

在这里插入图片描述

这里有一点需要注意,通过回归 Δ α \Delta \alpha Δα Δ β \Delta \beta Δβ得出的旋转框,很有可能是平行四边形而非矩形,因此在算得 Δ α , Δ β \Delta \alpha,\Delta \beta Δα,Δβ后,还需进行一个简单的处理,即将平行四边形的短对角线拉长到和长对角线一样长,即将旋转平行四边形变换成旋转矩形。

在这里插入图片描述

关于RotatedRoIAlign的实现可以参考官方仓库,

template <typename T>
void pre_calc_for_bilinear_interpolate(
    const int height,
    const int width,
    const int pooled_height,
    const int pooled_width,
    const int iy_upper,
    const int ix_upper,
    T roi_start_h,
    T roi_start_w,
    T bin_size_h,
    T bin_size_w,
    int roi_bin_grid_h,
    int roi_bin_grid_w,
    T roi_center_h,
    T roi_center_w,
    T cos_theta,
    T sin_theta,
    std::vector<PreCalc<T>>& pre_calc) {
  int pre_calc_index = 0;
  for (int ph = 0; ph < pooled_height; ph++) {
    for (int pw = 0; pw < pooled_width; pw++) {
      for (int iy = 0; iy < iy_upper; iy++) {
        const T yy = roi_start_h + ph * bin_size_h +
            static_cast<T>(iy + .5f) * bin_size_h /
                static_cast<T>(roi_bin_grid_h); // e.g., 0.5, 1.5
        for (int ix = 0; ix < ix_upper; ix++) {
          const T xx = roi_start_w + pw * bin_size_w +
              static_cast<T>(ix + .5f) * bin_size_w /
                  static_cast<T>(roi_bin_grid_w);

          // Rotate by theta around the center and translate
          // In image space, (y, x) is the order for Right Handed System,
          // and this is essentially multiplying the point by a rotation matrix
          // to rotate it counterclockwise through angle theta.
          T y = yy * cos_theta - xx * sin_theta + roi_center_h;
          T x = yy * sin_theta + xx * cos_theta + roi_center_w;
          // deal with: inverse elements are out of feature map boundary
          if (y < -1.0 || y > height || x < -1.0 || x > width) {
            // empty
            PreCalc<T> pc;
            pc.pos1 = 0;
            pc.pos2 = 0;
            pc.pos3 = 0;
            pc.pos4 = 0;
            pc.w1 = 0;
            pc.w2 = 0;
            pc.w3 = 0;
            pc.w4 = 0;
            pre_calc[pre_calc_index] = pc;
            pre_calc_index += 1;
            continue;
          }

          if (y < 0) {
            y = 0;
          }
          if (x < 0) {
            x = 0;
          }

          int y_low = (int)y;
          int x_low = (int)x;
          int y_high;
          int x_high;

          if (y_low >= height - 1) {
            y_high = y_low = height - 1;
            y = (T)y_low;
          } else {
            y_high = y_low + 1;
          }

          if (x_low >= width - 1) {
            x_high = x_low = width - 1;
            x = (T)x_low;
          } else {
            x_high = x_low + 1;
          }

          T ly = y - y_low;
          T lx = x - x_low;
          T hy = 1. - ly, hx = 1. - lx;
          T w1 = hy * hx, w2 = hy * lx, w3 = ly * hx, w4 = ly * lx;

          // save weights and indices
          PreCalc<T> pc;
          pc.pos1 = y_low * width + x_low;
          pc.pos2 = y_low * width + x_high;
          pc.pos3 = y_high * width + x_low;
          pc.pos4 = y_high * width + x_high;
          pc.w1 = w1;
          pc.w2 = w2;
          pc.w3 = w3;
          pc.w4 = w4;
          pre_calc[pre_calc_index] = pc;

          pre_calc_index += 1;
        }
      }
    }
  }
}

参考资料


欢迎访问个人网络日志🌹🌹知行空间🌹🌹


<think>好的,我现在需要回答用户关于如何使用Oriented R-CNN训练自定义数据集的问题。首先,我得回顾下用户提供的引用资料,看看有哪些相关信息可以利用。 根据引用[4],Oriented R-CNN在DOTA和HRSC2016数据集上进行了验证,说明它适用于旋转目标检测任务。引用[5]提到了Faster R-CNN训练自定义数据集的路径结构,这可能对数据准备有帮助。另外,引用[3]提到Sparse R-CNN的结构,虽然不完全相同,但可能对理解模型架构有参考价值。引用[1]则指出在自定义数据集上训练Mask R-CNN需要调整配置文件、准备数据格式和微调模型,这可能也适用于Oriented R-CNN。 接下来,我需要整理训练Oriented R-CNN的步骤。首先,数据准备是关键,用户需要将标注转换为旋转框格式,比如DOTA使用的四个点坐标形式。然后,配置数据集路径,可能需要类似VOC或COCO的格式,如引用[5]中的VOCdevkit结构。接着,调整模型的配置文件,修改类别数和数据路径,这步类似引用[1]中提到的配置文件调整。之后,下载预训练模型进行微调,像引用[1]中的Mask R-CNN使用COCO预训练权重样。最后,启动训练过程,并验证结果。 还需要注意可能遇到的问题,比如标注工具的选择,数据增强的方法,以及多尺度训练策略。引用[3]中的动态实例交互头可能涉及训练中的参数优化,但Oriented R-CNN的具体实现可能有不同的模块。此外,引用[2]提到的Bounding Box回归优化可能对调整回归损失有帮助,但需要具体看Oriented R-CNN的实现细节。 最后,用户可能需要实际操作的指导,比如代码示例或配置文件修改的具体步骤。不过用户提供的引用中没有具体的Oriented R-CNN代码,可能需要参考官方文档或相关教程。综合这些信息,我可以给出个结构化的回答,涵盖数据准备、配置修改、模型训练和结果验证等步骤,并附上相关问题供用户进步探索。</think>### 如何使用Oriented R-CNN训练自定义数据集? #### 1. **数据准备** - **标注格式**:Oriented R-CNN针对旋转目标检测,需将标注从水平框($x_{\text{min}}, y_{\text{min}}, x_{\text{max}}, y_{\text{max}}$)转换为旋转框格式(如四顶点坐标 $(x_1,y_1,x_2,y_2,x_3,y_3,x_4,y_4)$ 或极坐标 $(x,y,w,h,\theta)$)[^4]。 - **数据集结构**:参考VOC或COCO格式组织数据,例如: ``` /VOCdevkit/VOC2007/ ├── Annotations # 存放XML标注文件 ├── JPEGImages # 存放原始图像 └── ImageSets # 划分训练/验证集 ``` 具体路径结构可借鉴Faster R-CNN的自定义数据集配置[^5]。 #### 2. **配置文件调整** - **修改类别数**:在模型配置文件中(如 `configs/oriented_rcnn/oriented_rcnn_r50_fpn_1x_dota.py`),更新 `num_classes` 参数为自定义数据集的类别数。 - **数据路径配置**:指定数据集路径和训练/验证集划分文件,类似以下格式: ```python data = dict( train=dict( ann_file='path/to/train_annotations.pkl', img_prefix='path/to/train_images/'), val=dict( ann_file='path/to/val_annotations.pkl', img_prefix='path/to/val_images/')) ``` #### 3. **模型训练** - **预训练权重加载**:使用在DOTA等数据集上预训练的模型初始化参数(如 `oriented_rcnn_r50_fpn_1x_dota.pth`)。 - **训练命令示例**: ```bash python tools/train.py configs/oriented_rcnn/oriented_rcnn_r50_fpn_1x_dota.py --work-dir outputs/ ``` - **关键参数调整**: - 学习率(`lr`):根据数据集规模调整,小数据集建议降低初始学习率(如 $1e-4$) - 多尺度训练:启用 `RandomRotate` 和 `Resize` 数据增强提升旋转检测鲁棒性 #### 4. **结果验证** - 使用AP(Average Precision)指标评估旋转框预测精度: ```bash python tools/test.py configs/oriented_rcnn/oriented_rcnn_r50_fpn_1x_dota.py weights/oriented_rcnn.pth --eval mAP ``` - 可视化结果示例: ```python from mmdet.apis import init_detector, inference_detector model = init_detector(config_path, checkpoint_path) result = inference_detector(model, 'test_image.jpg') model.show_result('test_image.jpg', result, out_file='result.jpg') ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值