非负矩阵中的乘法更新规则_多模态数据中的非负矩阵分解用于分割和标签预测...

引用

Akata Z, Thurau C, Bauckhage C. Non-negative matrix factorization in multimodality data for segmentation and label prediction[C]. 2011.

摘要

随着 Internet 上带注释的多媒体数据的可用性不断提高，要求有一种技术可以实现不同类型数据的原则性联合处理。多视图学习和多视图聚类试图以同时的方式识别不同特征空间中的潜在成分。所得的基向量或质心忠实地代表数据上的不同视图，但是隐式耦合，并且它们是联合估计的。这为诸如标签预测，图像检索或语义分组之类的问题开辟了新途径。本文提出了一种用于多视图聚类的新模型，该模型将传统的非负矩阵分解扩展到不同数据矩阵的联合分解。因此，该技术为图像部分和属性的联合处理提供了一种新方法。图像分割和图像特征与图像标签的多视图聚类的首次实验显示出令人鼓舞的结果，并表明该方法为不同抽象级别的图像分析提供了一个通用框架。

1 动机和背景

社交网络的兴起和用户生成的内容运动已将 Internet 变成了一个几乎无限的，带有注释和评级的多媒体数据的存储库。例如，截至撰写本文时，flickr 上提供了超过 45 亿张图像，其中大多数由社区进行了标记，评级，分类和评估。 这种发展为图像理解的研究提供了巨大的可能性，但同时也要求允许对不同类型的数据进行综合处理的方法。

我们的目标是对图像特征和图像标签进行原则上的联合处理。我们提出了一种用于多视图聚类的新技术，该技术可以同时确定不同特征空间中的潜在维数或质心向量。与诸如将不同类型的特征串联到单个描述符中的临时方法相反，多视图聚类忠实于不同描述符的不同特征。由于潜在分量或质心是联合估计的，因此多视图技术可进行高级推理。由于对于一个特征空间中的每个质心，在另一个空间中都有一个对应的质心，因此不同视图之间的转换非常简单。这为分割、自动图像标记或基于标签的图像检索提供了新的方法。

尽管它们具有悠久而古老的传统，但人们对多视图学习和多视图群集有了新的兴趣。可以同时发现不同空间中潜在成分的方法的典型示例是 Hotelling 的典型相关分析(CCA)，该方法最近已经提出了核化和概率扩展。其他最近的发展考虑了将频谱聚类扩展到编码不同类型相似性的多个图。

我们的多视图聚类新方法将非负矩阵分解(NMF)扩展到几个数据矩阵的联合分解。它是出于以下注意事项：

1)与主成分分析(PCA)或奇异值分解(SVD)相似，CCA 不一定对诸如颜色直方图或项频率向量之类的纯非负数据具有合理性。但是，非负矩阵分解通常会产生可被视为基于零件的表示并适应人类感知的结果。

2)基于相似度矩阵的光谱聚类的方法随数据数量呈二次方缩放，因此在现代的大规模数据和图像分析问题中是禁止的。

3)另一方面，对于 NMF，存在有效的算法，该算法可将数十亿个条目的矩阵分解，这可能适用于多视图设置。

在下一部分中，我们阐明矩阵分解和聚类之间的关系。 然后，在第 3 节中，我们根据研究现状简要回顾了 NMF，并将这种方法扩展到不同数据矩阵的联合分解。在第 4 节中，我们介绍了在图像分割，标签预测和图像检索中使用多视图 NMF 的实验。

2 矩阵降阶和聚类

在本节中，我们简要回顾一下矩阵秩降低如何应用于聚类或矢量量化问题。