Siammask

 

【1】输入【127，127，3】，【225，225，3】

【2】  是 Siamese Net ,resnet50作为特征提取网络，训练后，得到提取的特征

 

 

【2-1】resnet50

【2-2】          https://blog.csdn.net/qq_36449741/article/details/99696208

【3】    两个feature map 做互相关

 

【3-1】RPN

RPN的全称是RegionProposal Network，译为区域建议网络。RPN可以理解为，从一张图像或者featuremap选择一个区域，生成anchors。RPN具有两个分支，一个是分类分支，一个是回归分支。

入模板图像为127×127，CNN生成6×6×256     的featuremap  分类分支结构4×4×(2k×256) k为 每个grid生成k个anchors

                                                                                                  回归分支中4×4×(4k×256)

 

搜索图像为    255×255,  CNN生成22×22×256  的featuremap  分类分支结构 20×20×256  【框内有物体不】

                                                                                                   回归分支结构 20×20×256  【框在哪】

 

分类分支

⭐’是卷积的操作，两个featuremap相互卷积，这里先256个通道相互卷积，加权求和生成一个通道，所以生成17×17×2k的featuremap，这里相当于将搜索图像划分为17×17 个grid，每个grid生成k个anchors，每两个通道是一组，一共k组对应k个anchors。第一个通道中，目标的anchors是1，背景是0；第二个通道中，背景是1，目标是0

回归分支

‘⭐’是卷积的操作，与分类分支的操作相同，生成17×17×4k的featuremap，每四个是一组，一共k组对应k个anchors。四组分别对应boundingbox的四个值dx、dy、dw、dh，是anchor与真值的距离。

 

 

【3-2】DaSiamRPN

【3-2】SiamRPN++

 

深度互相关

图中（a）模板图像         通道数相同的featuremap  【5，5，220】             相互卷积，最后取平均值

                  搜索图像       通道数相同的featuremap   【25，25，220】         相互卷积，最后取平均值