SemArt 数据集,21384个样本的语料库

摘要：SemArt数据集是一个包含21384个样本的语料库，它提供了艺术评论以及美术作品及其属性，用于研究语义艺术理解，数据集共3.1G，欢迎访问帕伊提提下载使用（www.payititi.com）.

01

自动艺术分析一直致力于将艺术作品分成不同的艺术风格。然而，理解一个艺术表现涉及更复杂的过程，例如识别场景中的元素或识别作者的影响。我们提出了语义艺术理解的多模式数据集SemArt。SemArt是一个美术绘画图像的集合，其中每个图像都与若干属性和文本艺术评论相关联，例如出现在艺术目录或博物馆收藏中的那些。为了评估语义艺术理解，我们设想了Text2Art challenge，这是一个多模式检索任务，根据艺术文本检索相关的绘画，反之亦然。我们还提出了几种将视觉和文本艺术表现编码到一个共同语义空间的模型。我们的最佳方法是能够在45.5%的测试样本中找到排名前10位的正确图像。此外，与人类的评价相比，我们的模型显示出显著的艺术理解水平。

 

 

Text2Art Challenge

02

Text2Art challenge基于文本图像检索，用于评价语义艺术理解的性能，即给定一个艺术文本，找到相关的图像，反之亦然。

Human evaluation

对于给定的艺术评论和属性，标准的人类评价者（即不是艺术专家）被要求从10幅绘画图像中选择最合适的画。我们从两个不同的层面来评估这项任务：简单和困难。

 

• 在简单的层次上，为给定文本显示的图像是从测试集中的所有绘画图像中随机选择的。

• 在困难的级别，每个注释显示的10个图像共享相同的元数据字段类型。

 

Examples

03

Code & Models

04

Citation

@InProceedings{Garcia2018How,
   author    = {Noa Garcia and George Vogiatzis},
   title     = {How to Read Paintings: Semantic Art Understanding with Multi-Modal Retrieval},
   booktitle = {Proceedings of the European Conference in Computer Vision Workshops},
   year      = {2018},
}

 

 

License

CC BY-NC 4.0

Aston University

关注帕伊提提更多资源服务