GenAI-Arena：首个多模态生成 AI 排名开放平台

      生成式 AI 指的是能够生成新内容（如图像、视频、文本等）的人工智能技术。近年来，生成式 AI 在图像和视频生成领域取得了突破性进展，例如：

• 艺术创作：生成式 AI 可以根据文本描述生成各种风格的艺术作品，例如风景画、人物肖像、抽象艺术等。
• 视觉内容增强：生成式 AI 可以用于视频剪辑、图像修复、图像风格迁移等，提升视觉内容的品质和效果。
• 医疗影像：生成式 AI 可以用于医学图像的生成和分割，辅助医生进行诊断和治疗。

      尽管生成式 AI 取得了显著进展，但评估这些模型的性能仍然是一个挑战。传统的评估指标，例如 PSNR、SSIM、LPIPS、FID 等，虽然在某些方面提供了有价值的洞察，但在提供模型整体性能的全面评估方面往往不足，尤其是在涉及主观质量如美学和用户满意度时。

      GenAI-Arena 旨在解决这一问题。它是一个开放的评估平台，允许用户参与评估不同的图像和视频生成模型。用户可以生成图像或视频，将它们并排比较，并为它们投票。通过利用用户的反馈和投票，GenAI-Arena 旨在提供一个更民主、更准确的模型性能评估方法。

1 生成式 AI 评估指标和生成式 AI 评估平台

1.1 生成式 AI 评估指标

• CLIPScore：通过计算图像和文本的 CLIP 嵌入的余弦相似度来衡量图像和文本的一致性。
• IS (Inception Score)：衡量图像的多样性和清晰度。
• FID (Fréchet Inception Distance)：衡量真实图像分布和生成图像分布之间的差异。
• PSNR (Peak Signal-to-Noise Ratio)：衡量图像的重建质量。
• SSIM (Structural Similarity Index)：衡量图像的结构相似性。
• LPIPS (Learned Perceptual Image Patch Similarity)：衡量图像的感知相似性。
• MLLM (Multimodal Large Language Model) 作为评估指标：例如，T2I-CompBench 使用 miniGPT4 评估文本到图像生成任务，TIFA 使用视觉问答技术评估文本到图像生成任务，VIEScore 使用 MLLM 作为统一的评估指标。

1.2 生成式 AI 评估平台

• T2I-CompBench：评估组合文本到图像生成任务。
• HEIM：提供文本到图像任务的全面评估框架，包括安全性、毒性等方面。
• ImagenHub：评估文