Thinking in BigData（二）大数据时代下的变革

大数据时代的思维变革

        A Revolution That Will Transform How We Live, Work, and Think.

       不期而遇的一本《大数据时代》将我引进大数据的领域。这个浪里淘沙的时代，我们都站在这个时代改革的前沿，而作为互联网最具爆发力的一种媒介，它给我传递着什么资讯？如果说我们错过了2000年左右的互联网浪潮，错过电商竞争的时代，但我们赶上了云计算和大数据的兴起，这将是一次难得的转型与立足机会。而它的到来，会给我们带来什么转变？

       就像在《大数据时代》中的开篇引言：

       “一场生活、工作与思维的大变革。大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……”。

       商业、公共卫生、思维、时代转型，生存方式，乃至方方面面。在过去的一年中，这三个也犹如星星之火以致燎原之势。在我们炒大数据概念的同时，我们更关心的是：什么事大数据？大数据的核心是什么？、大数据能产生什么样的价值？那就随着我的理解，开始我们的大数据之旅。

       大数据时代的思维变革：1、更多。2、更杂。3、更好。

1、更多

       由传统的随机样本预测，到全体预测的转变。

       当数据处理技术已经发生了翻天覆的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。

       传统“样本”数据是我们基于传统的统计学，利用小样本事件来预测全集发生的概率。而在大数据的思维中，既然是“样本”，那定时存在误差，有误差定会的预测结果产生影响，那就不能称之为准确。随着信息数据采集的便捷性，数据的规模也远远超过我们的想象。采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量的增加关系却不大，而样本的选择的随机性比样本数量更重要。但这又提出了新的问题，如何有效的选择样本，如何选择样本和全局数据更匹配。在我们遇到各种各样的问题的同时，增加样本空间，看似一个解决问题的办法，但这同样会出现上面的问题。那我们接下来要做什么？大数据是指不再采用随机分析法，而是采用所有数据的方法。其实，这样的处理方法，在具体实现的过程中也会遇到一些问题，但相比于随机抽取“样本”，准确率已不可同日而语。

2、更杂

       不再是精确性，而是混杂性。

       执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据分析利用的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。

       “大数据”通常用概率说话，而不是板着“确凿无疑”的面孔。整个社会要习惯这种思维需要很长的时间，其中也会出现一些问题。但现在，有必要指出的是，当我们视图扩大数据规模的时候，要学会拥抱混乱。这里谈到数据的混杂，必然会牵扯到混杂数据的存储。传统关系型数据库已经无法满足我们的需求，随之NoSql（非关系型数据）应运而生。随着待处理数据量逐渐增多，大家越来越需要一种在集群环境中易于编程且执行效率高的大数据处理技术，NoSql。NoSql不在局限于传统关系型数据库的条条框框，而只是一个key，一个vlaue，最大的特点准许数据的冗余与混杂。这里不再多探讨非关系型数据库的特点。

       大数据要求我们有所改变，我们必须能够接受混乱和不确定性。确定性似乎一直是我们生活的支撑，