Language-Guided Image Clustering
论文地址:
https://openreview.net/forum?id=-JW-1Fg-v2
主要工作:
目前的无监督聚类方法只关注与图像中的对象的类别或者某个特定属性,而在图像的其他属性的识别上面存在困难(如年龄和活动等)。作者建议通过引入语言引导的图像聚类算法来解决上述问题。
该模型提供了一个描述一个特定属性的所有可能值的详尽短语列表,以及一个共享的图像-语言嵌入(例如CLIP)。然后通过无监督算法形成最佳图像聚类的 K 个属性短语的子集,从而实现了根据图像多属性的聚类。
具体实现:
我们的目标是根据我们接受语言指导的一组特定属性对图像进行聚类。
假设有 N I N_{I}