大数据分析之——基于模型的复杂数据多维聚类分析

来自：http://qing.weibo.com/2294942122/

EMC中国研究院大数据实验室senior research scientist   陈弢 

（一）引言

随着现实和虚拟世界的数据产生速度越来越迅猛，人们开始关注如何从这些数据中获取信息，知识，以及对于决策的支持。这样的任务通常被称作大数据分析（BigData Analytics）。大数据分析的难点很多，比如，由于海量数据而带来的分析效率瓶颈，使用户不能及时得到分析结果；由于数据源太多而带来的非结构化问题，使传统的数据分析工具不能直接利用。

 

本文讨论大数据内部关系的复杂性，以及复杂数据所带来的对于聚类分析的挑战。聚类分析的目标是依据数据本身的分布特征（无监督），把整个数据（空间）划分成不同的类。基本的准则是同类的数据应该具有某种的相似性，而异类的数据应该具有某种差异性。现有工作假设在这些数据中存在单一的聚类划分的方法，而聚类目标就是找到这样的一种划分。然而，我们在大数据中所面对的复杂数据是多侧面的，比如在网页数据中既有关于内容的文本属性，也有指向这个网页的链接属性。多侧面数据本身就存在着多种有意义的划分，强制地将数据按照单一的方法聚类，得不到有效的、明确清晰的、可诠释的结果。针对这个问题，多维聚类方法针对数据的不同侧面，得到数据聚类的多种方法，最后让使用者决定需要的聚类划分。

 

高维复杂数据的聚类分析是本文作者在香港科技大学跟随Nevin Zhang教授攻读博士期间的主要工作。研究论文Model-based multidimensional clustering ofcategorical data发表在今年《ArtificialIntelligence》杂志的第176期。《ArtificialIntelligence》从1970年开始出版，是人工智能领域老牌顶级期刊。因为版权原因，可能网上下载不到免费的全文，感兴趣的同学可以联系tao.chen2@emc.com。关于文中所用的隐树模型的介绍以及免费软件参见隐树模型项目主页。

（二）多维聚类的概念

 

假设我们需要对图中的所有图片进行聚类，可能的聚类方法不止一种࿱