【RPN】前世今生 阅读笔记

input 慢在串行输入

原图中均分为多个网格， 每个网格， 生成不同尺寸和比例的anchor 。

生成的anchor 送入 RPN 网络 ， 用于前景和背景的二分类回归， 对anchor 执行一个 置信度排序， 筛选掉一部分 。

筛选后的anchor 送入网络 ， 继续进行 回归和 置信度 。

回归分支的作用？？

框是怎么产生的呢？

loss ?

原图映射到 feature map

RoI Pooling 映射到feature

Mask RCNN 出来了

RoI Align ？？？？

ROI 是啥？？？

平分成14 *14 的区域， 后， 每个区域的采样点是怎么得到的， 再进行 双线性插值 得到的。

NMS 非极大值抑制， 检测里面有很多个目标 。

在目标跟踪只关注一个目标。

SiamRPN

k 就是每一个点的 anchor .

每一个框对应的前景和背景的得分。

上一个预测值 和这一个预测值， 尺度变化不是很大。

score 每个框的 得分

SiamRPN

17* 17 的框。
裁剪。

x 的第三个维度

为了简化计算

特征图裁剪的是在过程中的哪个部分？

问答

17*17 中的一个点， 对应原图中的 。 均匀分配

不是和GT比， 训练时候 和原图gt 比较。

间接和 anchor 做比较。

一开始是 ， anchor , 预定义的， 网络修正每个框 的修正量， 修正之后再和 数据集中的GT比较

loss ,

不是很懂这个 Loss

ROI align 是RPN 是mask RCNN 里面加的部分

RPN 和 ROI Align

有一个候选区域的过程。 是一个独立的部分。

ATOM 里面有 Polling

马丁里面用到了 RoI 的操作

在孪生网络里面， 把RPN 进行改进的方法， 近几年 ， anchor free 的方法。

不用预测锚点框， 直接产生候选框。

RPN 是 anchor-base 的。

有 anchor ， 预定义了一些框， RPN 修正。

anchor - free ， 没有预定义，但给产生一些框。

RPN 修正的论文和方法： OceanNet 对RPN 进行了修正的论文。

如果特征没对齐， 对框进行校正。
RPN 有误差， 如果第二frame 没对齐，会影响到 后续frame
用 回归分支 修正 分类分支 的anchor ,