SAMScore: A Semantic Structural Similarity Metric for Image Translation Evaluation

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里是SAMScore的目的作用：
针对图像生成领域的IMAGE2IMAGE研究内容，参考SAM引入了 SAMScore评估指标，一种用于评估图像翻译模型忠实度的通用语义结构相似性度量。
该代码可在 github获得。
主要内容如下： 提出了一种评估语义结构相似性的通用指标，它解决了目前缺乏任何用于评估图像翻译任务语义忠实度的通用指标。在多个相关任务中证明了卓越的有效性和鲁棒性。

---

一、正文

之前的相似度工作有L2（欧几里得距离或MSE）、PSNR（峰值信噪比）、SSIM（结构相似性指数）、LPIPS（习得感知图像块相似性）和FCNScore（全卷积网络的语义分割精度）等方法。但都有一定的缺陷;
为了解决现有相似性度量的局限性，我们引入了SAMScore，它使用基础Segment Anything Model（SAM）的编码器部分来获得要比较的源图像和生成图像的丰富语义结构嵌入，然后通过计算余弦相似性来测量语义结构相似性，如图所示

1.SAM输入

给定一个源图像X0∈RC0×H0×W0和一个生成的图像Y0∈RC0*H0×W0，其中XE，YE∈RC×H×W是各自的嵌入，C，H和W是SAM编码器输出嵌入的通道的数量、高度、和宽度。在标准SAM编码器中，C是256，H和W分别是输入图像的高度H0和宽度W0的1/16。

2.相似性计算

由于语义结构信息是空间的，我们在空间层面上计算两个嵌入的相似性。方程1中的两个矢量在空间位置（h，w）处的余弦相似性为：

源图像和生成的图像之间的总体SAMScore为：

二、计算效果对比

1.对比图表

通过分段仿射变换获得的几何变形和加高斯噪声获得的分数对比

不同生成网络的测试

---

总结

最终大量的实验结果表明，SAMScore在评估语义结构相似性方面的准确性和稳健性显著优于传统度量。