大数据处理应遵循的四大原则

信息革命将人类带入一个革命性的“大数据时代”，人们通过电脑网络，利用数据分析、数据集成、数据设计、数据模型、数据决策和数据虚拟化等手段，针对具体的认知对象，对反映其数量、性质、结构、功能、价值、前景等方面的数据，进行全面的收集、整理、分析、综观和萃取，然后作为决策和实践的根据。由此，使人类的认识变得更精确系统、更全面广泛、更快速有效。然而面对各种数据源收集来的海量数据，究竟如何对其进行归类、计算、建模和解释，却需要高超的智慧。因数据本身始终沉默，需要依赖能动的认识主体的赋予。为此，本文想就大数据处理应遵循的几条原则给予阐释。

简约原则

这是牛顿创设的一条“极简主义”的节约规则。在牛顿看来，神奇的自然界在创设过程中选择的简单性和对繁琐的讨厌，使得人类也形成如下观念：“在用很少的东西就能够解决问题的情况下，决不劳力费神和兴师动众”;要始终体现大自然所遵循的简约性、精准性、合理性与有效性。欲达此目的，就需要在云计算或大数据处理中，遵循简约原则，选择有用数据，淘汰无用数据;识别有代表性的本质数据，去除细枝末节或无意义的非本质数据。要能够确识数据之间的巨大差距或差异;要能够鉴别和挑出那些“以一当十”的数据和信息。这种简约原则在大数据的收集、挖掘、算法和实施中的最有效途径，就是对“数据规约”的运用。

所谓数据规约就是简化现有的数据集，使得一种小规模的数据就能够产生同样的分析效果。常用的数据规约策略有数据立方体聚集、维规约、数据压缩、数值压缩、离散化和概念分层等，而常用的数据规约方法则主要包含粗糙集、遗传算法、主成分分析、逐步回归分析、公共因素模型分析等。运用这些规约方法，就可以获取可靠数据，减少数据集规模，提高数据抽象程度，提升数据挖掘效率，使之在实际工作中，可以根据需要选用具体的分析数据和合