主题建模是一个技术的集合,允许用户在大量数据中找到主题。当试图对这些文档的内容建模和执行EDA时,它将非常有利。
不久前,我们介绍了一种名为BERTopic的主题建模技术,它利用了BERT嵌入和基于类的TF-IDF创建簇,允许轻松解释主题。
不过,过了一会儿,开始考虑它在其他领域的应用,例如计算机视觉。如果我们能在图像上应用主题建模,那会有多酷?
花了一段时间,但经过一些实验,想出了解决方案,Concept!
https://github.com/MaartenGr/concept
Concept是一个包,它同时在图像和文本上引入主题建模的概念。然而,由于主题通常指的是书面或口头的文字,它并不能完全封装图像的含义。相反,我们将这些分组的图像和文本称为概念。
因此,Concept包执行概念建模,这是一种统计模型,用于发现图像和相应文档集合中出现的抽象概念。
概念建模是主题建模对图像和文本的概括
例如,下面的概念通过概念建模检索:
正如你可能注意到的,我们可以通过它们的文本表示和视觉表示来解释这些概念。然而,通过组合这些表示,可以找到概念建模的真正力量。
概念建模允许概念的多模态表示
一幅图片告诉你一千多个字。但是如果我们在图像中添加单词怎么办?这两种沟通方式的协同作用,可以丰富对Concept的解读和理解。
https://colab.research.google.com/drive/1XHwQPT2itZXu1HayvGoj60-xAXxg9mqe?usp=sharing
在本文中,将介绍使用Concept创建自己的概念模型的步骤。你可以在上面的链接中跟随GoogleColab笔记本。
步骤1:安装Concept
我们可以通过PyPI轻松安装Concept:
pip install concept</