大数据的特征(4V+1O):
数据量大(Volume)。第一个特征是数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
类型繁多(Variety)。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
价值密度低(Value)。第三个特征是数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何结合业务逻辑并通过强大的机器算法来挖掘数据价值,是大数据时代最需要解决的问题。
速度快时效高(Velocity)。第四个特征数据增长速度快,处理速度也快,时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到,个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
数据是在线的(Online)。数据是永远在线的,是随时能调用和计算的,这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大,更重要的是数据变的在线了,这是互联网高速发展背景下的特点。比如,对于打车工具,客户的数据和出租司机数据都是实时在线的,这样的数据才有意义。如果是放在磁盘中而且是离线的,这些数据远远不如在线的商业价值大。
大数据的作用:
“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,这种独特的销售现象引起了管理人员的注意,经过后续调查发现,这种现象出现在年轻的父亲身上。
在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。如果这个年轻的父亲在卖场只能买到两件商品之一,则他很有可能会放弃购物而到另一家商店,直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象,开始在卖场尝试将啤酒与尿布摆放在相同的区域,让年轻的父亲可以同时找到这两件商品,并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件,从而获得了很好的商品销售收入,这就是“啤酒与尿布”故事的由来。
由这个故事,我们可以初探数据的魅力,通过简单的关联分析,我们从数据中发现隐藏其中的规律,从而帮助我们做出正确的决策。在这个快速发展的世界,成功通常意味着你做了什么正确的事。而通过数据的支持,我们能更好、更快地做出正确的决策,而这便是数据的真正价值所在。
大数据包含着更多的信息,而信息是可持续发展的基础,也是决策者进行成功规划的基础。如果没有合理的数据与信息,决策比猜想好不到哪儿去,并且很容易出错。经济与社会数据很多,也相对比较可靠与容易理解。环境数据与信息则要困难得多,综合、及时、高质量的环境信息依然非常稀缺,获取合适的信息不仅十分困难,而且代价也很大。
我们都知道股市有风险,因为股市中存在着大量的信息不对称。普通股民要花费很大的功夫才能搞清楚这家公司有没有投资价值,而上市公司高管尤其是大股东,非常清楚该公司能值几个钱。不仅高管比公众投资者更清楚公司的资产情况、竞争实力和行业地位等整体情况,而且高管也比普通投资者更清楚行业形势的变化和公司经营情况向好或向坏的趋势。因此高管常常在股价低迷时买进(增持),在股价有泡沫时则推出配股或增发股票的方案。普通股民常常在高管增持之后才敢认同股票的投资价值、在再融资方案推出之后才明白前期的炒作是非理性的,但行动总是比高管慢了一个节拍。高管利用信息优势,在投资本公司股票方面的绩效比公众投资者好很多。这清晰地向我们表明了信息对决策的重要性。
再回到大数据,如今的大数据主要记录了用户历史交互行为。用户通过各种交互行为,显式或隐式地表达了他们的喜好,他们想要的东西,他们讨厌的东西。可以说大数据中包含着各种有用信息,就看你能不能从各种数据噪音中提取出你想要的信息。如果我们成功地挖掘出用户行为背后的深层原因,那我们就能据此做出更好的决策,给用户带来更好的用户体验;再进一步,若我们能根据现有信息,推测出用户未来可能喜欢,但他们现在还未意识到的东西,做到比用户更加懂得他们本身的需求,那可以说我们已经牢牢把握住用户本身了。