大数据与数据挖掘

如今，许多的商业机构每天都可以获取大量的基础数据，即使一个触摸屏或是某一个显示终端处理过的订单、某一笔会计业务，我们都不能忽视其数据的意义。对于大型的零售公司、网络的销售卖家等商业机构，搜集数据的目的不仅是利用这些数据来改善商业目标，然而，如何有效的使用这些数据，也需要由专业研究人员来完成。

• 数据挖掘（data mining）是研究从非常大的数据库中开发出有用的决策信息的方法。一般是指从大量的数据中自动搜索隐藏于其中的有着特殊联系的信息的过程，并通过统计、在线分析处理、情报检索和模式识别等诸多方法来实现上述目标。
  • 啤酒与尿布。全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒＋尿布”的数据分析成果早已成了数据挖掘应用的经典案例，被人津津乐道。
  • Google成功预测冬季流感。2009年，Google通过分析5000万条美国人最频繁检索的词汇，将之和美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。
  • 大数据与乔布斯癌症治疗。乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。
  • 微软大数据成功预测奥斯卡21项大奖。2013年，微软纽约研究院的经济学家David利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。今年他再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。
  • 这些有趣的数据挖掘案例，你会发现“数据”其实就在我们的身边。对数据进行挖掘分析正在颠覆每一种类型的企业的认知。位于纽约长岛的文艺复兴科技公司（Renaissance Technologies）所管理的对冲基金，有150亿美元的资产。这家公司或许是20年来业绩最佳的对冲基金，而领导这家公司的是两名来自IBM人工智能实验室的科学家，他们开发了许多数学模型用来进行分析和交易，这些模型都是建立在海量数据基础上的，具有可靠性并可进行实际预测，而最后的结果往往与他们预想的一样。
• 数据挖掘是一门非常依赖于统计方法的科学，它创造性的综合了所有这些方法以及包括人工智能、机器学习等计算机技术，从而使数据挖掘更有效。当然，数据挖掘不仅仅局限于此，它还有更为广阔复杂的应用领域，有待于科学家的不断探索。
  • 区别于传统的数据类型，它们呈现出了新的特点。
  • 过去一些记录是以模拟形式方式存在的，或者以数据形式存在但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。例如，Facebook每天有18亿张照片上传或被传播，形成了海量的数据。
  • 移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。
  • 电子地图如高德、百度、Google地图出现后，产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。
  • 进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。
  • 电商平台产生了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。
  • 传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。

---