大数据之“大”的来源与价值
在上篇博客中,我们仅仅是从一个简单的利用案例,谈到了大数据的机理和趋势。但我们更多的人,还是对大数据模糊。究竟多少算是“大”?大数据究竟来源于哪些产业?大数据在哪些公司应用更广泛?大数据的价值是什么?大数据阻碍了哪些商业的发展?又究竟给哪些产业带来新的活力?
究竟多少算大?
在前面的几篇博客中,我们已经谈到,大数据,并不在于数据的“大”,而在于我们首先能利用大数据的思维方式的转变。但是问题又接着提出?大数据真的不“大”吗?让我们来看一些数据:
根据国际数据公司(IDC)的测算,2011 年数字世界将产生1800EB 的数据,2012 年会增长40%,达到2500EB。截止2020 年,会达到35000EB,似乎没有足够的磁盘空间存储。就传统IT 企业来看,其结构化和非结构化的数据增长也是惊人的。2005 年企业存储的结构化数据为4EB,到2015 年将增至29EB,年复合增长率逾20%。非结构化数据发展更猛。2005 年为22EB,2015 年将增至1600EB,年复合增长率约60%,远远快于摩尔定律。
这里我们简单的介绍一下,存储单位的换算:
1KB=1024B=10^3,1MB =1024KB=10^6,1GB =1024MB=10^9,1TB =1024GB=10^12,
1PB=1024TB=10^15,1EB=1024PB=10^18,1ZB= 1024 EB=10^21。
我们只介绍到ZB。我想性,稍微懂得一点计算机基础知识的,就会明白10后面的阶乘代表什么意思。从KB到GB到TB再到EB,这中间数据阶乘我们已经超出我们的想象。相比于摩尔定律:当价格不变时,集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18个月翻一倍以上。这一定律揭示了信息技术进步的速度。但相比于大数据,数据的更迭,摩尔定律已经微乎其微了。
以北京交通为例,北京市的交通智能化分析平台,它的数据源来自路网摄像头/传感器、地面公交、轨道交通、出租车以及省际客运、旅游、运输、停车、租车等运输行业等:4万辆浮动车每天产生2000万条记录﹔交通卡刷卡记录每天1900万条﹔手机定位数据每天1800万条﹔出租车运营数据每天