基于场景文字知识挖掘的细粒度图像识别算法

Knowledge Mining with Scene Text for Fine-Grained Recognition

一、研究背景

文字是人类传达信息、知识和情感的重要载体，其蕴含了丰富的语义信息。利用文字的语义信息，可以更好地理解图像中的内容。和文档文本不同，场景文字具有稀疏性，通常以少许关键词的形式存在于自然环境中，通过稀疏的关键词，机器难以获取精准的语义。然而，人类能够较为充分地理解稀疏的场景文字，其原因在于，人类具有大量的外部知识库，能够通过知识库来弥补稀疏的场景文字所带来的语义损失。

如图1所示：该数据集是关于细粒度图像分类任务，旨在区分图像中的瓶子属于哪种饮品或酒类。图中3张图像均属于Soda类饮品，尽管（a）（b）两案例的瓶子具有不同的视觉属性（不同材质、形状），但是关键词Soda提供了极具区分力的线索来告知样本属于Soda饮品。尽管案例（c）同样属于soda类饮品，但是其附属的场景文本的表面信息无法提供明显的线索。表格（d）中列出了案例（c）中的场景文字在Wikipedia中的描述，Wikipedia告知我们，场景文本Leninade代表某种品牌，其属于Soda类饮品。因此，挖掘场景文本背后丰富的语义信息能够进一步弥补场景文本的语义损失，从而更为准确地理解图像中的目标。