基于SAM的零样本相似性评价方法

介绍

图像转换具有广泛的应用，如风格转换和模态转换，通常是生成具有高度真实和忠实的图像。这些问题仍然很困难，特别是在保存语义结构很重要的时候。传统的图像级相似性度量的用途有限，因为图像的语义是高级的，并且不受对原始图像的像素级忠实度的严格控制。为了填补这一空白，我们引入了SAMScore，这是一种通用的语义结构相似性度量，用于评估图像翻译模型的忠实度。SAMScore是基于最近的高性能段任意事物模型（SAM），该模型可以以突出的准确性进行语义相似性比较。我们将SAMScore应用于19个图像翻译任务，发现它在所有任务上都能优于所有其他竞争指标。我们设想，SAMScore将被证明是一个有价值的工具，它将有助于推动充满活力的图像翻译领域，通过允许对新的和不断发展的翻译模型进行更精确的评估。

方法

解决现有的相似性指标的局限性在上一节中描述，我们介绍SAMScore，使用基础段的编码器部分的任何模型（SAM）获得丰富的语义结构嵌入源和生成的图像进行比较，然后测量语义相似性通过计算余弦结构相似度。

SAM编码器

我们首先将源图像和翻译（生成的）图像映射到丰富语义结构信息的高级图像嵌入空间中。我们部署SAM编码器来提取源图像和翻译图像的语义嵌入，分别记为X_E和Y_E。在SAM中用于训练编码器的大量的分割数据赋予它从“任何”图像中提取语义信息的能力，即，