ACMMM20 Context-aware Feature Generation for Zero-shot Semantic Segmentation

paper
blog
code

论文解决了什么问题？

将像素级上下文信息并入到生成网络的问题。

1. 利用上下文信息解决语义分割是已知方案
2. 利用生成网络解决零样本问题是已知方案

作者对AI科技评论谈到：

其实在做这个工作之前，我们“浪费”了大半年的时间尝试把很多零样本分类的方法照搬到零样本语义分割，结果发现完全不work，最终才转移到像素级别特征生成上来。并且，我们现在已经把像素级别（pixel-wise）特征生成升级到碎片级别（patch-wise）特征生成，结果有了进一步提升。但是再往上走，因为未知种类物体的形状大小未知，很难生成一整张完整的特征图，这也是零样本语义分割亟待解决的一个问题。我们的数据库、代码和模型都已经开源，欢迎关注零样本语义分割任务。