【组会论文2023.06.16】Zero-Shot Object Counting阅读笔记

把组会讲过的论文整理一下，留个痕迹.......

组会第三篇论文

目录

摘要

网络结构

损失函数

计数误差

实验

1.定量分析：不可知类计数

​编辑2.定性分析：计数样本和相应的密度图

​编辑3.定量消融实验

4.定性消融分析：预测计数误差

5.基于示例推广：计数样本和相应的密度图 

 6.多类目标计数：计数样本和相应的密度图

总结

---

零样本目标计数

 论文：https://arxiv.org/abs/2303.02001

源码：https://github.com/cvlab-stonybrook/zero-shot-counting

摘要

为解决类不可知对象计数需要人工注释样本作为输入的问题，本文提出零样本对象计数（ZSC）任务的方法。该方法可以对输入图像中的特定目标物体进行计算，在计数过程中只需要给定物体类名，而不需要给定任何人工注释的示例。在此基础上，本文也提出一种简单有效的patch选择方法，可以在查询图像上准确定位最优patch作为待计数目标。

网络结构

本文模型首先通过生成模型在预训练的特征空间中获得给定类的类原型。在给定输入查询图像的情况下，作者随机抽取若干大小不同的patch，并为每个patch提取相应的特征嵌入。然后作者选择嵌入与类原型最邻近的patch作为类相关patch，对每个选择的类相关patch使用基于样本预训练的计数模型获得中间特征图。误差预测器将特征图作为输入，采用归一化技术预测计数误差，最后系统选择误差最小的patch作为最终的样本patch，并使用它们进行计数。计数模型和误差预测器在FSC-147数据集上进行训练，特征生成器在MS-COCO检测数据集上进行训练。

损失函数

KL散度，衡量两个分布之间的距离，值越小两者越相近，值越大两者差距越大。