大数据时代来临 IT如何做好准备

 

不管你有没有准备好，大数据时代都将来临。目前，IT经理需要做好以下5件事来迎接未来的海量数据的挑战。

By David Linthicum | InfoWorld

你的“大数据”计划准备就绪了吗？如果没有，你可能要开始考虑设计一个了。

现今，大数据作为未来一项关键的战略资产备受推崇或者说过度炒作—这取决于你的个人看法，但这意味着任何一家企业的CEO都想知道IT对大数据的看法并如何迎接挑战，这只是时间问题而已。

那如何回到CEO们呢？可以肯定的是，对于大多数IT部门来说，处理大量数据已不是一件新鲜事。但抛却炒作不谈，分析家们说，大数据分析确实与以前的数据仓库、数据挖掘和商业智能（BI）分析有明显不同之处。 

数据正以前所未有的速度大量涌现，与过去产生的数据不同的是，现在产生的大部分数据是非结构化数据和原生数据（有时被称为“灰色数据“）。

博客、社交媒体网络、机械传感器和基于位置的数据构成了整个非结构化数据体系。如果能够迅速捕捉、管理和分析这些数据，就可以帮助企业发现他们过去无法认识到的事实和模式。

“我们已经收集了很长一段时间的数据，但成效有限。因为虽然我们制造了很多数据，但是没有一个人能够挖掘这些数据的价值”，计算机科学公司前沿论坛和技术方案主管Paul·Gustafson说：“数据围绕业务流程来对数据进行归档和建模，而不是围绕为企业提供泛泛的信息来建模，这种差异是从收集到连接的重大转变。”

例如，根据麦肯锡全球研究所五月份发布的报告，美国的医疗保健行业通过有效利用护理、治愈率和服务质量、患者病史等相关数据，可以提高效率并增加生产力。该报告表明，如此大量数据可能会创造每年超过3000亿美元的价值；该报告同样表明，大数据还有可能带动零售行业平均营业利润率超过60％的增长。

IT是站在数据革命的最前沿的的人群，行业观察家如是说：“这是一个新的机会：你可以走进CEO的办公室，并对他说，我可以改善这块业务，并在几秒钟内提供我在五年前连接触都接触不到的信息。”卡特琳娜市场部CIO 埃里克·威廉姆斯说。

威廉姆斯应该知道卡特琳娜始终保持着一个高达2.5PB的客户忠诚度数据库，其中包括通过最大的连锁零售企业收集到的超过1.9亿美元的零售数据信息，反过来，可以基于这些信息中的购买历史记录生成优惠券，再促进销售。

威廉姆斯和其他行业观察家都认为，引导企业进入到实时预测智能时代，技术经理必须发展自己的企业信息化管理架构和文化以支持TB和PB（或者EB和ZB计量的潜力）数据量级的先进的数据存储分析。

“IT经理们经常说他们想尽办法来开展大数据业务，因为这是一个惊人的机会。”威廉姆斯说。因此为迎接大数据时代到来，IT需克服阻碍大数据到来的障碍。

早期大数据技术还处于初步发展阶段，产品成熟度尚未达到一定水平可以使IT经理们习惯使用专业的软件工具。

现在许多新兴的大数据产品是植根于开源技术的，虽然通过很多商业化渠道都可以得到，但是仍然缺乏成熟的第三方咨询和支持的外部环境，就像传统的应用软件有成熟的服务提供商一样，如ERP，Gartner研究总监马库斯·柯林斯指出。

更重要的是，大多数IT部门到目前为止还仅仅是建设和维护较传统的、结构化数据仓库，在大数据技能方面仍有明显的差距。

在大数据问题成为主要问题之前，公司需要从企业文化和信息化管理实践两方面做出重大转变，Gartner信息管理副总裁马克·拜尔指出。

拜耳和其他分析师认为，精明的IT领导人会从现在开始武装自己和公司并适时进行重大转变。

——下面是一位技术经理最应该做的五件事，以迎接未来大数据时代的挑战。——

盘点你的数据

几乎每一个组织都可能拥有一个稳定的非结构化数据流，不管是从社交媒体网络还是从传感器监测的工厂车间获得的。但是，一个组织产生信息“消防水带”，并不意味着挖掘这些信息的价值就是当务之急。

“由于有了大数据的前期炒作，人们都感到一种人为的需要去了解所有博客或传感器的数据。”Constellation副总裁兼首席分析师Neil·Raden指出。

部分焦虑可能来自急于推动企业计算领域另一次重大变化的供应商和顾问。“有一定的推动力来自于使技术商业化的人”，Raden讲道。

精明的IT经理将抵制去“消防水带”喝水的冲动，尽量避免使IT部门成为为企业筛选与企业相关或不相关数据的过滤器。

面对大量的数据，IT部门首先要做的应该是盘点数据，弄清楚哪些数据是内部产生的，外部数据的来源是什么。如果IT部门已经开始这样做，这将会弥补在知识上的差距，并能充分洞察企业业务，Raden说。

一旦数据研究开始进行，IT部门要有很强的针对性，而不是一个泛泛的跟大数据相关的项目。“你不必花费几百万美元启动一个项目来看它是否值得”，Raden说。

让业务需求驱动数据挖掘

这听起来像破纪录，但正如海量和多变对大数据来说是其关键特点一样，IT部门的工作和业务需求一致对一项创造才是至关重要的，IT分析师说。

之前大数据里的许多机遇都为IT部门以外的领域所用，例如，市场部门在早期就深入社交媒体来深入了解并挖掘客户需求和购买趋势。

即使市场部门甚至整个企业都看到了大数据的带来的机遇，但是进行数据共享和普及数据整合概念仍然是IT部门的责任。

“这不是IT部门可以独立完成的任务”，普华永道会计师事务所信息管理行业主管戴夫·巴顿说，“如果不跟企业的业务目标看齐，这将很难成功”。

在一个早期大数据的项目中，卡塔利娜市场营销专家威廉姆斯就将企业经营管理者和其财务规划和分析（FPA）小组汇聚在一起，试图为企业信息架构投资提供数据依据。

通过分析实际业务可以识别新概念创造价值的领域所在，例如，根据消费者的购物清单或者基于产品报价的下次购买分析来确定顾客的后续购买行为，FPA小组通过分析这些数据可以将提高生产力或增加销售额的结果进行量化。

重新评估基础设施和数据架构

对于大多数公司来说，大数据要求公司的服务器和存储基础设施、信息管理架构都要进行重大变革，Gartner拜尔和其他专家讲到，IT经理应准备好扩大IT平台，以应对快速扩张的结构化和非结构化数据。

这需要找出一个很好的平台转变方式，不仅能使平台具有可拓展性特点，而且能为整合所有不同系统提供一个发展路径。

“今天，大多数企业都是不同的、孤立的薪金系统，有的针对客户管理的，有的是针对营销的”，IBM大数据产品部门副总裁Anjul·Bhambhri说道，“CIO们真的需要有一个地方能把这些不同的、孤立的系统放到一起，并且建立起相应的系统体系。在该系统体系中你想要问的问题都可以得到解答”。

可以肯定的是，并不是每个系统都要集成，这在很大程度上取决于公司的规模、业务领域和数据需要。但Bhambhri和其他人都认为，首要目标应该是建立一个信息管理架构，以确保系统之间的数据流畅通。公司应充分利用技术如中间件、面向​​服务架构、业务流程的整合等等创建该信息管理架构。

在此期间，传统的数据仓库架构也受到压力。Gartner的拜尔说，目前部署的数据仓库有85％在某些方面不能解决2015年极端的数据管理问题。

即便如此，他说，“我们也并不希望将设备替换作为考虑之一。”相反，现有的库可以扩大并适应包括内置数据处理能力。

“过去数据仓库关注的焦点是存储内容和存储地点。新的思维方式是，数据仓库将是新增的和现有的数据加上数据处理和服务提供的结合体。”拜尔解释说。

专注于技术研究

伴随大数据到来的是一系列CIO从未接触过的新的缩略术语和技术。

诸如Hadoop、MapReduce和NoSQL这类的开源技术越来越受到重视，这些开源技术曾使互联网巨头谷歌、Facebook等从大数据中获利。尽管许多开源技术以多种商业形式提供，但是仍然相当不成熟，还需要具有专业技能的人来继续开发或者维护。

除了专注于开源技术，IT团队同样需要确保他们跟得上大数据领域的科技发展步伐，如数据库分析、柱状数据库和数据仓库设备。

为了更好地适应大数据来临的浪潮，IT管​​理人员及其员工需要深入研究，至少熟习该领域的新工具。

准备雇佣新员工或再培训老员工

无论是Hadoop专家还是数据专家，大多数IT组织目前在应对大数据挑战时都缺乏合适的人才。分析技能或许是最关键的，同时这也是目前IT人员的技能差距最大之处。

在一个麦肯锡的调查项目中，仅就美国而言，到2018年数理统计和数据分析专家两方面的人才缺口分别就会有14万和19万，包括广泛炒作的新兴角色“数据科学家”在内。

此外，麦肯锡预计还需要1，500，000位额外的在商业或技术方面有过正规预测分析和数理统计培训的数据学术经理。

IT部门的管辖下，传统数据仓库和BI专业人员将需要再次接受培训。

除了传统的信息管理、分配和数据结构方面的技能，新的大数据专业人员不仅需要精通新的预测分析工具和数据管理平台，更需要了解语义和数学学科。

“构建之前的数据库的人不一定是构建未来数据库的人，”卡特琳娜的威廉姆斯说，“不要小看其复杂性。”

 “作为一个中等规模的企业，使员工时刻跟上不断变化的外部环境确实是一个挑战。”为了满足市场需要，Cowan已经开始正式培训程序员和数据库分析师以学习先进的分析方法。

IT部门负责人必须勇敢的转变自己，从而在这场变革中里脱颖而出。虽然过去最好的高科技领导人可能是信息管理员和基础设施工程师的结合，但是未来的IT经理将是数据科学家和业务流程工程师的结合，Gartner的拜尔如是说。

“CIO们一直以来的工作就是基于业务给定的指令来管理基础设施，他们并不能自己来识别机会，并因此创新性的利用信息”，他解释说，“这将是转型的必要所在”。

【中云网原创，如需转载，请注明文章出处“中云网”及网址链接。】http://www.china-cloud.com/yunzixun/yunjisuanxinwen/20111031_7305.html