大数据时代就在你我身边

    大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。
     与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关，包括与国家安全社会稳定相关的尖端武器制造与性能模拟实验，群体事件和谣言的预警和干预；与国家科技能力相关的等离子即高能粒子实验分析，纳米材料及生物基因工程；与国民经济繁荣相关的经济金融态势感知与失稳预测，精准营销与智能物流仓储；与环境问题相关的全球气候及生态系统的分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病趋势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。

1、基于大数据的著名研究进展：

（1）2013年8月1日发表在《科学》的文章“Civil conflicts are associated with the global climate”，是迄今为止对相关研究结果最为全面的综合分析（之前包括2012年PNAS"Climate variability and conflict risk in East Africa, 1990–2009"、2011年的International Security的“Climate Wars? Assessing the Claim That Drought Breeds Conflict”、2011年的Nature的“Civil conflicts are associated with the global climate”）。在该文章中，科学家们揭示了一个主题：未来，人为的气候变化不仅仅会使海平面上升及空气变得更脏，它还可能会大大增加人类发生冲突的几率。跨越多学科——其中包括考古学、经济学、地理学及心理学——的研究人员长期以来一直在辩论，一个改变中的气候是否会影响人类发生暴力行为的可能性。科学家就不断上升的温度和更为极端的降雨是否会分别影响个人之间及群体间的冲突的发生率进行了调查。这些冲突包括了从个人层面的攻击行为到国家层面的政治不稳定及战争等范围广泛的事件。为了开展分析，他们挑选了61个已经存在的将气候与暴力进行了关联的研究。这些研究来自44个不同的冲突数据集，发表在24种杂志上，代表了190多位研究人员的研究工作。这些发现具有综合性和全面性，他们所用的这些结果从时间上跨越了从公元前8000年至当前的整个时期，所反映的数据来自全球所有主要的区域。科学家将他们所用的研究限于那些能够做出有关气候与冲突具有严格因果关系断言的研究。为了消除由具体作者所做的调整和偏见，他们没有从这些研究中直接使用数据，而是用一种共同的统计框架来进行重新分析。按照他们的综合分析，这些作者得出结论，气候变化对暴力行为的影响是可观的。随着气候向更暖的气温或更极端降雨的转变，个人之间的暴力及人群间冲突的频率会上升，因此，对到2050年时的展望，人类冲突的更高的频率可能代表了人为气候变化所带来的一个重大的影响。文章的作者承认，他们所做的假设是基于过去的人群是如何对气候变化做出反应的，而且人们不可能知道未来的人群是否会以同样的方式做出反应（他们也许会更好地适应他们所处的新的、较热的环境）。文章的作者还凸显了该领域中的下一个重要步骤，以更好地理解产生这些观测到的气候与冲突关系的机制。现在，研究人员已经研究了数个气候变量及数个冲突的结果，但他们说，某些气候变量可能会比其他的变量有着更大的影响，而某些冲突的结果可能与气候变化有着更直接的关联。

（2）2012年的“EPL 100”的一篇文章“Anchoring Bias in Online Voting”分析了包括亚马逊和Netflix在内的4个网站上数百万用户对各种商品的评分数据，发现用户的评分存在明显的锚定效应，也就是说，用户在给出一个高分之后，下一次评分也偏高，在给出一个低分之后，下一次评分也偏低。

（3）2010年“Science 328”的一篇文章“Network Diversity and Economic Development”，科学家通过对全英32482个行政区6500万人口通话关系的研究发现，电话联系人多样性越强的行政区，其经济社会发展水平也越高，从一个侧面证明了社会资本等价于经济资本

（4）2009年的“Nature 457”的一篇文章“Detecting influenza epidemics using search engine query data”，Google基于数据给我们提供了一个绕开理论直接走向应用的新途径。科学家分析了5000万搜索词，从中找到所有和流感传播趋势有关的搜索词，又通过其中相关性最强的45个词，利用线性回归模型，预测流感的染病人数。 Google的预测非常准确，并且能够比疾控中心早一周对实时染病情况进行预报。

2、政府部门在行动

（1）美国：2013年11月12日美国科学技术政策办公室和“网络与信息技术研发项目”推出了第二轮大数据行动，即“从数据到知识到行动：建立新的伙伴关系”计划。2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。该倡议涉及联邦政府的6个部门（国家科学基金委、国家卫生研究院、能源部、国防部、国防部高级研究计划局和地质勘探局）。这些部门将投资总共超过两亿美元，来大力推动和改善与大数据相关的收集、组织和分析工具及技术。

（2）英国：英国“尝鲜”大数据时代，“在洛杉矶，警方通过数据分析，预测未来12小时内哪个地区最有可能发生犯罪；在伦敦金融城，一位交易员认为，数学计算可以成为发财‘秘笈’；在南美，天文学家尝试为整个宇宙进行分类记录……这些迥然不同的领域如今被一种事物统一起来：数据量的大爆炸。”　这是英国BBC品牌栏目《地平线》4月发布的纪录片《大数据时代》中的开篇一幕。的确，仅在过去几年，人类创造的数据信息量就超过了此前全部历史。无处不在的海量信息正在改变整个世界和我们的生活方式，一场数据革命悄然来临。在21世纪，对庞大信息的采集和分析能力将成为最重要的能力之一。从政府、研究机构到企业，英国人已经行动起来，“尝鲜”大数据技术。　　虽然经济不景气，财政被迫收紧，但大数据依然是英国政府舍得一掷千金的“宠儿”。今年年初，英国商业、创新和技能部宣布将注资6亿英镑，发展8类高新技术，大数据独揽1.89亿英镑，远超其他高新技术。负责科技事务的大臣戴维·威利茨说，政府将在计算基础设施方面投入巨资，同时吸引企业在这一领域的投资，从而在数据革命中占得先机。一份政府报告详细地阐述了英国发展大数据技术的潜在优势。报告称，英国擅长处理不同大数据集的算法，在数学和计算机科学领域拥有特长，而且在医疗保健、人口统计、农业和环境领域拥有世界上最好、最完整的数据集。威利茨说，政府要利用好这些优势，必须加大对关键研究领域的支持力度，同时推动新技术从实验室走向商业应用。大数据创造价值基于这样一个核心逻辑，即当今社会的决策行为越来越取决于数据和分析，而不再是经验和直觉。因此，大数据技术可以为决策提供一定的“预见参考”，而成功的分析和预见往往能带来商业和经济价值。大数据技术创造价值的能力已经在英国崭露头角。一份行业报告显示，英国政府通过高效使用公共大数据技术每年可节省约330亿英镑，相当于英国每人每年节省约500英镑。再以连锁零售业为例，英国最大的连锁超市特易购已经开始运用大数据技术来采集并分析其客户行为信息数据集，以此制定有针对性的促销计划、调整商品价格。这种“有的放矢”的营销和定价模式为特易购提供了更加高效的盈利方法。具体而言，特易购首先在大数据系统内给每个顾客确定一个编号，然后通过每位顾客的刷卡消费、填写调查问卷、打客服电话等行为，采集他们的相关数据，再用计算机系统建立特定模型，对每位顾客的海量数据进行分析，得出特定顾客的消费习惯、近期可能的消费需求等等结论。

（3）法国：法国政府将投入1150万研发7个大数据市场项目。法国政府为促进大数据领域的发展，将以新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在《数字化路线图》中列出了五项将会大力支持的战略性高新技术，而“大数据”就是其中一项。日前，法国经济、财政和工业部宣布，将投入1150万欧元用于支持7个未来投资项目。法国生产振兴部部长Arnaud Montebourg、数字经济部副部长Fleur Pellerin和投资委员Louis Gallois在第二届巴黎大数据大会(le congrès Big Data)结束后的第二天(即4月5日)共同宣布了这项决定。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。”众所周知，法国在数学和统计学领域具有独一无二的优势，但是大数据领域的巨头仍集中在美国。此前，法国软件编辑联盟(AFDEL)曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。AFDEL认为，未来5年内，大数据所创造的价值将会达到28亿欧元，同时将会产生1万个工作岗位。

（4）日本：从云到大数据：日本积极建设信息化政府。日本发达信息通信网络社会推进战略本部（简称IT战略本部）于2010年5月11日对外发布《信息通信技术新战略》，该战略将实现国民本位的电子政府、加强地区间的互助关系等作为重要内容，其中云技术一词反复出现13次，可见云技术在政府IT战略中的重要地位。日本政府正积极利用云技术改革行政业务办事流程、构筑政府信息公共平台、促进不同系统间的沟通合作，最终建立一个全国统一的电子政务服务体系。为了确保国民方便地获得行政信息，政府将利用信息公开方式标准化技术实现统计信息、测量信息、灾害信息等公共信息可被反复使用的目标，在紧急情况时可以较少的网络流量向手机用户提供信息，为了让国民参与政策制定以及实施的过程，将通过云技术向国民提供更详尽的政策信息，到2013年，日本将在网络上实现行政信息全部公开并可被重复使用 ，以进一步推进开放政府的建设进程。日本总务省在2010年5月发布的《智能云研究报告》中明确提出智能云战略，并将促进智能云服务的推广普及、新一代云技术的战略性研发、开展云技术相关的国际合作作为三个着眼点。政府在同年6月份推出的IT战略实施工程表中将中央和地方政府行政、医疗保健、教育、农业等公共领域作为推广云计算的重要领域，为了实现云计算在这些公共领域的应用，需要医疗部门、教育部门、民间企业的合作以及政府的政策支持。2010年12月，为了充分借助产业、科研、政府的合作力量推广云计算技术，以日本经济团体联合会为中心，日本各大云计算相关企业单位共同发起成立“日本云计算财团”（简称JCC），政府的总务省和经济产业省也作为观察员参与了该财团，到2011年12月，已经有超过300家企业和团体参加。该财团的成立有效解决了民间企业难以将云计算生态系统应用于社会公共事业领域的难题，同时也促进了云计算在地方政府中的应用。日本大地震后云生态系统也被用于灾后复兴和重建，国家和地方政府采取了多种促进灾后复兴和重建的扶持政策，为了促进这些扶持政策的落实，2012年1月以经济产业省为中心设立灾后复兴扶持政策数据库，数据库利用云技术将日本政府和岩手县、宫城县、福岛县的扶持政策相关信息收入其中。该数据库网站提供数据库应用程序编程接口，以便市民可以进行详细的检索，这个数据库今后还将进一步提供与灾后复兴相关的各种服务信息。为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题，日本总务省于2012年7月新发布“活跃ICT日本”新综合战略，今后日本的ICT战略方向备受关注。目前日本的ICT战略最关注大数据政策（从各种各样类型的数据中，快速获得有价值信息的能力），日本正在针对大数据推广的现状、发展动向、面临问题等进行探讨，以期对解决社会公共问题作出贡献。

（5）韩国。韩国将建首个开放大数据中心。 伴随大数据热潮而至的，是全行业对数据中心的倍加关注。最近，韩国在数据中心建设领域就有重大突破。韩国政府宣布将建设一个开放性的数据中心，公民、企业、团体等均可通过该中心对大数据进行提炼和分析。放眼全球，各国在大数据中心的建设上可谓各显神通。国外数据中心建设的经验与教训，对于处于起步阶段的我国具有重要的借鉴意义。规划先行，避免无序发展。我国的信息化建设往往受一两个新概念的影响而得以推进。近些年，“数字地球”、“数字城市”、“物联网”、“智慧城市”不断演绎信息化建设的一个又一个高潮。近年来，又有一个新的信息化热词闪亮登场，那就是“大数据”。从技术发展趋势来看，大数据紧扣物联网、网络社交通信、多媒体等信息产生工具海量出现的大背景，解决了求解信息资源爆炸式增长难题的技术手段问题，因而受到人们的高度关注和热切期待。所以，就在2012年3月29日美国政府启动“大数据研究与开发计划”不久，一些大型IT企业也在这一年密集地宣传、推广自己的大数据产品。然而，表面上的繁荣仍然存在无序发展的硬伤。目前，我国的数据中心仍以中小规模的传统数据中心为主，其中小于400平方米的小型数据中心超过90%。由于技术、资金和人才等原因，中小规模的数据中心普遍存在着能效差、水平低、重复建设等问题。同时，由于维护技术复杂、成本高、运维困难、用户需求变化迅速等原因，不少数据中心难以跟上技术进步的步伐。从当前国内有关大数据的相关报道来看，大多是有关电商企业对市场信息资源的大数据开发应用，而尚未看到大数据对基础科学研究、重点行业影响方面的成果。反观美国，2012年3月，美国白宫科技政策办公室发布了《大数据研究和发展计划》，同时组建“大数据高级指导小组”，此举标志着美国把大数据提高到国家战略层面。而从美国政府《大数据研究与开发计划》来看，自然科学研究、环境保护、生物医药研究、教育以及国家安全等领域才是大数据技术突破的重点。在大数据中心的建设上，我国应借鉴美国的先进经验，将大数据管理上升到国家战略层面，从国家战略层面予以重视。政府要有责任部门牵头进行专项研究，从国家层面通盘考虑我国大数据发展的战略。建立相关的研究计划，引导和推动各部委、各行业组织对大数据进行研究与利用，推动各个领域和行业的大数据应用工作，提升科学决策能力。另外，为把握大数据时代的战略机遇，积极营造良好的大数据产业生态环境，政府应制定积极的产业政策，推动大数据产业的创新发展，给予一定的政策优惠。　绿色发展，做好节能减排。节能减排是国家可持续发展的重要保证，也是我国对国际社会的庄严承诺。在大数据中心的建设上，能耗问题一定要引起足够的重视。在美国，数据中心已经占到总用电量的2.2%。苹果、亚马逊、微软等公司都因数据中心的能耗问题而饱受绿色和平组织的批评。根据美国环境保护署的报告，数据中心的能源消耗每五年翻一番。在美国，2011年数据中心能源消耗占到了美国电网总量的2%。而根据IBM公司的统计，能源成本占数据中心总运营成本的50%，在整个人类文明所获得的全部数据中，有90%是过去两年内产生的；到2020年，全世界所产生的数据规模将达到今天的44倍。根据相关数据统计显示，虽然国内的数据中心建设发展比较快速，但是能耗问题也比较突出，目前国内数据中心的PUE平均值基本都在2.5以上，与欧美地区的PUE（能源使用效率）普遍值1.8以下还存在着较大的差距。

（6）中国：广东率先启动大数据战略推动政府转型（http://www.echinagov.com/gov/zxzx/2013/7/24/181437.shtml）、上海推进大数据研究与发展三年行动计划（2013-2015年）构建大数据公共服务平台（http://www.echinagov.com/gov/zxzx/2013/7/17/180692.shtml）、佛山顺德区政府推进大数据时代政府信息化建设（http://www.echinagov.com/gov/zxzx/2013/2/25/167430.shtml）、山东成立农业大数据战略联盟提升农业竞争力（http://www.echinagov.com/gov/zxzx/2013/7/15/180523.shtml）、浙江省高速治堵将用上大数据（http://www.echinagov.com/gov/zxzx/2013/7/12/180412.shtml）。

3、学术机构

（1）2008年《Nature》出版了一个关于大数据的专辑 “Big Data：Science in the petabyte era”，专辑从互联网技术、环境科学、生物医药、网络经济学以及超级计算等多个方面介绍了大数据所带来的挑战

（2）2011年，《Science》推出了关于数据处理的专刊“Dealing with data”，讨论了数据洪流所带来的挑战，并特别指出倘若能够更有效地组织和分析利用这些数据，人们将得到更多的机会发挥科学技术对于社会发展的巨大推动作用

（3）2012年4月欧洲信息学与数学研究协会会刊ERCIM News出版专刊“Big Data”，讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和取得的创新性进展

（4）2012年5月召开以“网络数据科学与工程”为主题的第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议

（5）2012年11月召开了以“数据密集时代的科研信息化”为主题的第445次香山科学会议。

（6）2013年5月召开了以“数据科学与大数据的科学原理及发展前景”为主题第462次香山科学会议。

（7）国家自然科学基金委于2013年3月在上海同济大学举办了第89届“双清”论坛，论坛的主题是“大数据技术与应用中的挑战性科学问题”。

（8）2013年6月30日，中国信息化百人会以“大数据：挑战与机遇”为主题，在上海召开第四次专题研讨会。

（9）中国国计算机学会、通信学会等于2012年分别成立了“大数据专家委员会”。

（1）2012年9月13日，北京航空航天大学联合英国爱丁堡大学、英国利兹大学、香港科技大学、美国宾夕法尼亚大学、美国亚利桑那州立大学、加拿大渥太华大学等共同组建大数据科学与工程国际研究中心

4、商业组织

（1）2005 年以来，IBM 投资160 亿美元进行了30 次与大数据有关的收购，促使其业绩稳定高速增长。2012 年，IBM 股价突破200 美元大关，3 年之内股价翻了3 倍。华尔街早就开始招聘精通数据分析的天文学家和理论数学家来设计金融产品。IBM 现在是全球数学博士的最大雇主，数学家正在将其数据分析的才能应用于石油勘探、医疗健康等各个领域。

（2）eBay通过数据挖掘可精确计算出广告中的每一个关键字为公司带来的回报。通过对广告投放的优化，2007 年以来eBay产品销售的广告费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。目前推动大数据研究的动力主要是企业经济效益，巨大的经济利益驱使大企业不断扩大数据处理规模。

（3）2012年12月13日，在“中关村大数据日”活动会上，由宽带资本、百度、用友、中国联通、联想集团、北京大学、北京航空航天大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟，并在中关村云基地揭牌成立大数据实验室，该实验室以大数据产业孵化基金形态成立，致力于推动学术界大数据创新科技成果产业化以及为相关产业引导注入大数据科技元素。