政府为什么要发布数据?因为这能让他们看起来公开透明;大型公司和企业为什么也对数据喜爱有加,因为数据能为他们带来经济效益、创造价值。一些刚刚起步的新公司在积极寻求从数据中掘金的方法,而一些最成功的公司早就已经把数据融入了他们的业务实体。
这一切都和大数据的概念有关,因为公司在运行过程中会产生海量信息。截至2011年4月,美国国会图书馆硬盘中储存的数据量达到235TB①,但这和商业公司拥有的数据量比起来,还真算不了什么。根据最新的数据,平均每17家美国公司中,就有15家公司的自有数据量超过国会图书馆。
当然,数据也会给商业活动带来风险,对有些公司来说甚至是一种威胁。据称,维基解密掌握了美国银行的内部秘密文件,该银行为了应对此事,已经召集了一批律师当他们的“特警队”。至于那些数据,现在连半个影儿都没见着,倒是银行确实花费了不少钱。
每当你在使用商场积分卡时,下载音乐或者网上约会时,你的这些行为信息都会被商家分门别类地记录下来。这些公司会分析收集到的数据,让它们变得有用,更好地指导公司的发展。
世界上到底有多少数据?一张售价不到600美元的硬盘,能够装下世界上所有的录制音乐;全球的移动电话保有量目前为50亿部,如果想要男女老少人手一部,还有20亿的缺口;Facebook上每个月分享的内容多达300亿条。
2011年春,麦肯锡咨询公司发布了首份大数据报告,试图量化出数据在商业领域里的价值,并探求价值如何更好增长。麦肯锡公司预测,全球的数据量以每年40%的速度在增长。按此计算,每两年就会翻番。如果你觉得现在的数据就已经足够多了的话,那且看看十年之后的情况吧。
“世界上的数据量在迅速增长,分析这些大型数据库(也就是所谓的大数据)将成为一种核心竞争力,会在提高生产率、创新和消费需求等领域形成新的潮流,”麦肯锡公司表示,“不仅仅是一些常和数据打交道的经营者,各个部门的领导者都会受到大数据的深刻影响。”
这些数据都从何而来呢?第1章里阐述的数据开放运动在一定程度上带来了数据激增,信息化的工作方式也已初成气候。不止于此,我们还有很多互联网时代特有的物件,例如移动电话和平板电脑,这类产品能大量搜集使用电话和网络时产生的数据。此外,还有Web2.0时代的产物:多媒体、社交媒体和电子商务。
麦肯锡的这份报告还是很值得仔细研读的,全世界的CEO们都在纷纷传看,这也证明了它在全球商业领域的影响力。
该报告的撰写小组还关注了很多细分领域的大数据价值:如果合理利用数据,美国零售业能将营业利润增加六成以上;美国医疗服务业能把成本降低8%,并带来3 000亿美元的潜在产值;欧洲政府会提高运作效率,节省1 490亿美元开支;全球移动手机运营商的地理标签服务,价值会超过6 000亿美元。据他们计算,欧洲各国政府的总数据价值已经达到2 500亿美元,超过了希腊的GDP。这也为更好地解决欧债危机提供了新的视角。
尽管这份报告在商业世界里掀起了轩然大波,但所有的这一切都将会真实发生吗?
理论上说是的。我们周围确实有很多数据。据麦肯锡公司估算,2009年,美国各经济领域中的每一家大型公司,至少储存有200TB的数据。相比之下,超市连锁企业沃尔玛在1999年时的存货数据就达到了他们的一半。
“使用大数据,将会是个别企业竞争和成长的关键形式,”麦肯锡公司说,“不管是从竞争的立场,还是从获取潜在价值的角度,所有的公司都需要重视大数据。在大部分行业里,已有的商业对手和业界新人,都将利用数据驱动策略来进行创新、竞争和获取价值。”
数据更加透明,让各国政府尝到了甜头。同样的道理,数据变得更加开放,也会让企业自身从中受益。不过,商业数据中到底有多少是真正需要被保密的呢?假如所有的一切都是不能说的秘密,这不会给任何人带来好处,也会让公司看起来神秘莫测而不值得信赖。从另外一方面来说,数据开放只会增加信任。
当然,以电子化的方式储存商业财经数据,也会不可避免地带来意想不到的效果。当数据被分析后,商业世界的运转变得更加高效,正如麦肯锡报告里所说:“从产品库存到生病休假,他们能收集到所有的信息,而且更加精确细致。”
这只是一个新的工具而已。
那么,在商业实践当中应该怎样操作运用?在英格兰伯克郡的纽布利,移动电话公司沃达丰①的运营总部,有一块巨大的屏幕,上面显示着公司每一项业务的动态变化,还可以看到用户们的电话使用详情。要是在新年前的午夜去那,你会在一间大黑屋子里看到,数据在无数的屏幕上来回穿梭。伦敦:117 000条;格拉斯哥:115 000条;曼彻斯特:75 000条;利兹:70 000条……还有一组身着黑衣的技术人员,在寻找可能超出系统处理能力的信号。这些数据代表的是,在新年的第一个半小时里,短信的发送量(纯实时动态数据)。平均每一天,沃达丰公司的用户们会打9 000万通电话、发8 000万条短信;在通常情况下,沃达丰每24小时搜集的数据量达45TB,这相当于1 125万首音乐歌曲的大小。
沃达丰采用的做法是,利用数据分析,提前掌握用户需求。在2011年皇家婚礼②前夕,公司就增加了额外的临时基站来应对沉重的网络负担。接招合唱团③宣布要重组复出举行巡回演唱会之后,乐队的官网一度崩溃。此时,沃达丰着手准备迎接即将到来的短信大潮,因为歌迷之间会相互发信息,看看他们是否搞到了演唱会的票。
沃达丰运营中心的另一面墙上,展现的是英国与217个国家的连线图,实时监控着从境外进来的电信网络流量。据该公司介绍,这些数据也显示出了不同国家文化的“不对称”。例如,波兰母亲给在英国的儿子发短信,问问他们近况如何,可儿子们却没有回复。与之相比,法国人则基本上是“对称”的——发出去的短信,会收到回复。随着埃及和巴林岛的局势升级,沃达丰也能实时看到这些事件是如何影响通信网络的。
即使是电子邮件发送的一分账单,也能引发一整串数据事件:用户收到账单;大多数人会打开查看;一些人有疑问就会致电客服。现在是一个小时发送40 000份电子账单邮件,如果客服接到的电话过多,则相应减少账单发送量,以此来降低打进电话的数量。
沃达丰只是众多利用大数据的公司之一。联邦快递是如何在一天之内将包裹送达的?亚马逊商城是怎样来确定每件商品合适的备货量,它又是如何知道你可能会喜欢这件商品的?他们的仓库里为什么没有堆满卖不出去的过时音响?这些都与大数据有关。
其他公司也是“无数据,不可活”,运用数据的方法当然也各有千秋。益百利(Experian)①作为信用评级提供商,他们的产品显然很少是原始数据,而是基于数据的分析。还有乐购(Tesco)②公司,他们每个月记录15亿个数据点,还会利用诸如会员卡这样的数据来增加资金份额、提升市场占有率。
对于一些更新潮的公司来说,其产品本身就是基于数据生产的,而且是无缝一体化的流程。社交媒体LinkedIn③从始至终就依靠数据来运行,也就是说,你在LinkedIn上创建资料档案时,他们拿着你输入的个人信息,可以组织编排成新的产品和服务。一定程度上讲,他们的这种做法也迎合了人们自我描述的需求。
所以,也有不少人往自己脸上“贴金”、过度美化。2008年时,很多人都自诩“砖家”,有点像“数据大师”那种。到2009年时,“福音传道者①”的称号盖过了它的风头。而现在,每个人都是“绝地武士②”。你是哪一种呢?
同样,在线约会网站OKCupid也开始重视用户使用数据的搜集。用户上传哪种类型的照片最受欢迎、男性与女性有什么不同、黑人与白人的品味差别又在哪,这些细节数据都会定期更新。他们的数据还显示,使用苹果手机的人比使用黑莓手机或安卓系统的人,性欲更强。
还有你使用的Google,它也完全是靠数据运行的。不管是搜索引擎,还是针对每个市场量身定做的广告,抑或是谷歌邮箱Gmail的智能收件箱,在谷歌公司的运行中,数据无孔不入。至关重要的是,使用大数据能够让公司把客户进行细分,打造例如私人定制这样的服务。随着大数据的到来,数据需要变得更易于理解。经济学家赫伯特·西蒙(Herbert Simon)说:“信息越多,关注度就越少。在信息源过载的情况下,有效地分配关注度或许会解决这个问题。”更加复杂的软件和数据可视化技术,意味着大数据变得越来越易于处理。再加上新的协作技术,人们能够在不同的地方处理相同的数据,于是就形成了一个强大的组合。
当然,数据的出现也催生了另一些需求,比如目前比较紧缺的与数据相关的工作岗位。麦肯锡公司估算,单就美国来说,到2018年时需要190 000名深度分析型“数据科学家”,而现阶段需要的是精通数据挖掘的大数据分析师。此外,还缺150万名懂数据的管理人员来做有效决策。
原文发布时间为:2015-06-15
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号