《中国人工智能学会通讯》——11.73 面向大数据的高效特征选择与学习算法研究...

11.73 面向大数据的高效特征选择与学习算法研究

大数据本身是一个比较抽象的概念，仅从字面来看，它表示数据规模的庞大。但是仅仅数量上的庞大显然无法看出大数据这一概念和以往的“海量数据”、“超大规模数据”等概念之间有何区别[1] 。对于大数据尚未有一个公认的定义，不同的定义基本是从大数据的特征出发，维基百科将大数据定义为所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息；百度百科中大数据概念指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理，并整理成为帮助企业经营决策更积极目的的资讯。

大数据的不断迅猛发展，也呈现出其独特的特性，可概括为五个方面，也称为“5V”。

● 数据量大（Volume）。数据集的规模不断扩大，已从 GB 到 TB 再到 PB 级，甚至已经开始以EB 和 ZB 来计数。截至目前，人类生产的所有印刷材料的数据量是 200 PB，而历史上全人类说过的所有话的数据量大约是 5 EB。根据 IDC 的“数字宇宙”的报告，预计到 2020 年，全球数据使用量将达到40 ZB [2] 。

● 种类繁多（Variety）。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片和地理位置信息等，现代互联网上半结构化和非结构化数据占有比率将达到整个数据量的 95% 以上，这些多类型的数据对数据的处理能力提出了更高要求[3] 。

● 速度快（Velocity）。大数据区分于传统数据挖掘的最显著特征是它往往以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能有效利用这些数据[4] 。

● 价值密度低（Value）。基于传统思维与技术让人们在实际环境中往往面临信息泛滥而知识匮乏的窘态，呈现出价值密度的高低与数据总量的大小成反比的情况。但对于众多潜在的应用而言，大数据整体往往蕴藏着巨大的价值[3] 。

● 真实性（Veracity）。现实世界中的数据普遍存在模糊性、不一致性或含有噪声，比如当传感器受到外界干扰时，将导致所测的数据存在误差等。数据本身不产生价值，如何分析和利用大数据对实际业务产生帮助才是关键。大数据往往呈现出维数高、规模大和结构复杂等特性。如何利用这些数据，发挥其价值，引起了包括科研人员、工程技术人员、管理层领导等不同领域人士的关注和研究。

其中，特征选择和学习作为一种数据处理方式，是统计模式识别、机器学习和数据挖掘等领域的一个热门研究课题，受到广泛的重视。面向大数据的高效特征选择和学习的意义可以概括为：

● 大数据中往往存在冗余数据，这大大增加了存储和处理成本。特征选择技术可以有效地发现冗余特征，进而消除相应的冗余数据。

● 大数据苛求新的数据表示方法。通过特征学习技术，可以学习到数据本质的表征，帮助人们更好地理解数据。

● 大数据往往是错综复杂的。特征融合技术可以对复杂数据进行数据融合，进而得到统一的特征表达。