让我们激情利用大数据 挖掘商业洞察

本文讲的是让我们激情利用大数据 挖掘商业洞察,当前，伴随电子商务、移动互联网、社交媒体的飞速发展，以及智能手机、平板电脑和3G网络的普及，企业随时面临着数据爆炸的环境、超级互联的社会、愈加苛求的客户以及持续创新的压力。这不仅增强了企业对于更广阔的市场、灵活的基础架构，也推动了移动应用、云计算、大数据及敏捷开发等新技术趋势的产生与发展。对于软件产业而言，这些新趋势在为企业带来可供实践的新思路和新手段的同时，也为软件业带来更多的机遇和更严苛的挑战。

　　大数据 企业热点

　　在众多的软件发展趋势中，我们看到大数据这一技术正在越来越受到企业以及业界服务商、开发者的大力关注。2012年我们看到众多的IT服务商纷纷推出针对于大数据的产品和理念，来帮助企业实现价值。众所周知，数据只有转换成信息，提供给决策者才能实现其价值，而针对于大数据处理、分析的软件则至关重要。从大数据处理分析软件市场来看，IDC的调查显示，2011年业务分析软件市场实现了14.1%的增长，并且还将继续保持每年9.8%的增长速率，到2016年达到507亿美元的规模。而在软件行业，能否进行数据分析也是区分软件“智慧”与否的重要标志。

　　在8月23日~24日是以“技术维新 预见未来”的2012 IBM软件技术峰会上来自 IBM 硅谷实验室大数据项目总监Steven Sit就大数据的现状、应用以及IBM大数据领域的特色向IT168记者以及近2000人的软件开发人员作了全面的解读。

▲IBM 硅谷实验室大数据项目总监Steven Sit

　　Steven Sit指出，预计到2015年，全球将会有超过15个ZB的数据容量。而这些大数据主要来源以下几个方面：

　　第一、一些崭新的互联网的应用如微博、社交网站的不断普及。

　　第二、企业自身数据库的不断膨胀以及各式各样的智能仪器如智能手机、多样的传感器，都在大量的生产数据，而造成了又称为数据爆炸的现象。

▲大数据分析使智慧软件与众不同

　　针对于这些大数据，Steven Sit认为与传统的数据还是有一定的区别，主要表现为三个方面：

　　第一、数据的容量以及它们所产生的速度都是在不断的增加;

　　第二、除了传统的数据源以外，大数据更加容纳了一大部分新的数据源如社交网站、社交媒体，以至各种各样的智能仪器都在不断产生这些数据;

　　第三、新的数据80%是属于非结构性或者半结构性的数据。

　　基于以上几点大数据的特征，如果企业要在大数据里面找到智慧必须要引入一些新的技术。对于IBM来讲是一个新的大数据平台，在这个新的大数据平台里，有几方面是比较重要的。

　　第一、必须要能够把数据集成和管理，这是大数据的平台最基本的要求。但是只把数据储存，基本上是没有什么大的作用。必须要能够在这些及时性和海量性的数据里做出大规模的分析，而在分析的过程里，必须要提供一些崭新的工具配给所称的数据科学家，这是现在蛮热门的行业。这些崭新的工具帮助数据科学家做分析和释化。

　　第二、在大数据里不想要这些新的大数据应用只限于企业里面一部分的技术人员，要想办法把大数据的应用推广到企业的每一个角落，在这种情况下一些应用开发的环境，尤其是针对大数据应用开发的环境是非常重要的。

　　第三、这些功能必须有企业性的可靠性、管理性和集成性，对我们来讲这些都是缺一不可的大数据的平台要求。

▲大数据，这只是开始

　　Steven Sit表示按照IBM对于大数据的的经验来看，最成功的大数据项目其实是由业务部门做出新的推动，然后再和IT部门紧密的合作，利用企业里面现有的数据资源，再加上崭新的资源如智能设备所产生的数据，把它融集在一起，分析它，找出它新的智慧，然后再把这些智慧转成大数据的应用，推广到企业里不同的部门里，这种情况下才能真正达到大数据应用的效果。

　　IBM大数据平台 挖掘商业洞察

　　IBM大数据已经能够成功的帮助用户做好服务。据了解思科是与IBM比较早的一个合作伙伴，思科在这方面已经开始大概接近两年的大数据计划。最开始的时候是他们的一个智能建筑的推广过程，在这个过程中他们的智能建筑的团队跟他们的IT进行了紧密的合作，思科利用IBM的流分析以及海量分析Hadoop System，把智能仪器所收集下来的资料整融和分析，以达到节能的要求降低这些建筑的维护成本。

▲思科转向IBM大数据来实现智能基础架构管理

　　而同样，无独有偶，印度的一家很大的电信公司Asian，起初的一个要求是由他们的服务部门提出的，怎么样可以利用大数据来帮他们对付电话掉线的问题。利用了大数据的功能，尤其是流计算和Hadoop System，我们可以把CDR处理，(CDR是电话接通的信息)，把它整融和处理，可以降低处理的时间。从12个小时降低到1秒钟，而且每天可以处理60亿以上的数据。然而这只是大数据应用的一个开端，当他们得到起初的利益之后，不同的部门问，我们可不可以融入一些新的数据资源，来把大数据应用推广出去。

▲关于大数据的创新

　　通过这两个案例，我们可以看到IBM大数据平台具备以下功能：

　　第一、大数据平台必须有海量分析的能力。在这方面我们是很认同Hadoop System，Hadoop和它的EcoSystem;

　　第二、大数据很多时候会产生流量的数据，所以需要一个流计算的平台或者引进;

　　第三、针对传统性很密集，而且是结构性的数据，需要一个大型的、并行的数据资料库，这也是我们最近收入了Netezza的一些功能;

▲IBM 大数据平台和应用程序框架

　　第四、80%的数据是非结构性或半结构性的，在这些文本的分析功能方面需要有索引的功能。在最底层，需要一些信息整合和信息管理，来加强平台的安全性、整融性。而在这些引进的上层，IBM加了一些针对不同应用的加速器，在最上面有一些不同的工具，针对数据科学家、开发人员、管理人员的不同开发工具。针对不同行业的加速器，IBM将在今年年底和明年推出一系列针对不同行业，像电信、财务、公共交通、零售业、媒体业的一些加速器。

　　Steven Sit: 最后指出，大数据来讲，现在市场的情况是，互联网的一些公司，像雅虎、谷歌，他们都走在大数据的前端，但是有很多像他们的这些应用都是很定型的，而且需要很大量的资源来维护和创建。所以，很多的商业客户就会来问IBM，我们怎么样可以和IBM合作，这样我们可以不需要投入大量的资源，而能够得到大数据应用的利益。这就引申到IBM所发出的这些大数据平台以及我刚才所说的针对业务的加速器，来缩短企业从开始应用大数据，到得到大数据利益。

▲大数据的现状和未来

　　未来来讲，IBM认为大数据的应用将会分布到企业的每一个角落，而且会被企业的客户直接应用。试想一下，当你的销售人员在他们和你的客户交谈之中，已经深入了解这些客户的个人需求或者这些客户在利用您的商业网站上可以看到他们同类型的客户的购买的历史，而且及时收到一些购买的建议。

　　另外，当您这些客户在接见你们的门市部的时候，他们的手机已经收到及时的广告，提供一些优惠。这些我们现在想来是很遥远的，其实并不是，有很多公司正在做这样的应用。所以我们在不久的未来会看到这些应用会更加普遍。而IBM所扮演的角色，就是为这些企业提供企业级的大数据平台，帮助他们更快的、更有效的分析大量的数据，得到商业智能，然后提供一个开发的环境，让客户能够把大数据的应用推广开来。

　　Steven Sit 简介

　　IBM 硅谷实验室大数据项目总监Steven Sit ，该实验室负责 IBM 大数据平台的开发和设计。Steven 及其团队帮助 IBM 的客户和合作伙伴评估、制作原型并实施大数据解决方案，构建大数据部署模式。在过去 17 年里，Steven 曾在多个 IBM 项目中担任关键职位，这些项目包括商业智能、数据库工具和文本搜索。在他早期的职业生涯中，Steven 是 Lotus 和 IBM 服务部门的开发人员与软件架构师。

作者： 李伟

来源： IT168

原文标题：让我们激情利用大数据 挖掘商业洞察