HTC：Hybrid Task Cascade for Instance Segmentation

HTC：Hybrid Task Cascade for Instance Segmentation

创新点：在本篇论文中设计了多任务多阶段的混合级联结构，并且融合了一个语义分割的分支来增强spatial context；
关键思想是：通过在每个阶段结合级联和多任务来改善信息流，并利用空间背景来进一步提高准确性。
具体展开：设计了一个渐进式细化的级联管道，在每个阶段边界框回归和掩码预测都以多任务方式组合。此外，在不同阶段的掩码分支之间引入直接连接-每个阶段的掩码特征被嵌入并送到下一个阶段
总结：
1多任务多阶段的混合级联结构；
2训练时每个stage内box和mask分支采用交替执行；
3在不同stage的mask分支之间引入直接的信息流；
4语义分割的特征和原始的box/mask分支融合，增强spatial contxt
结果：单个HTC比MSCOCO数据集上强大的Cascade Mask R-CNNbase 优化。

算法思想

1 backbone

特征提取层：目前的一些深度学习网络；

2 neck

cascade级联结构并引入mask；

3 head

HTC基于maskRCNN和cascade的改进：
整个框架的演进可以用四张图表示，其中M表示mask分支，B表示Box分支，数字表示stage，M1表示第一个stage的mask分支

上述a，b表示的是mask直接加入cascade中的级联方式，通过特征提取层提出信息，然后RPN层分多个stage提取head
缺点是：未引入F层，mask之间没有级联关系
c较ab多出了一个结构，就是mask的cascade的特征图的流动：
算法结构如下：

使用1*1的卷积校准，与特征图做点价，经过4个卷积得到当前mask，上一个阶段的mask增加空间语义信息：

mask：一个进行语义特征提取输入下一层，一个进行语义分割预测