大 数 据 时 代 的 机 遇 与 挑 战
大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是 1MB(兆字节),2000年是 10MB,2003年是 100MB,2008 年是 1GB(1GB 等于 1024MB),2014 年将是 10GB。全网流量累计达到 1EB(即10亿 GB或 1000PB)的时间在 2001年是一年,在2004 年是一个月,在 2007 年是一周,而 2013 年仅需一天,即一天产生的信息量可刻满 1.88 亿张 DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过 50TB(1TB 等 于 1000GB),存 储 量 40PB(1PB 等 于1000TB)。百度公司目前数据总量接近 1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十 PB 数据。一个 8Mbps(兆比特每秒)的摄像头一小时能产生 3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十 PB。医院也是数据产生集中的地方。现在&#