2013年大数据真谛：实时分析与批量处理

2013年大数据真谛：实时分析与批量处理

发表于 6小时前|  353次阅读| 来源 CSDN|  10 条评论| 作者 郭雪梅

nosql hadoop Gartner 大数据

摘要：Gartner认为全球经济正在更大范围内复苏，2013年会出现IT的新增量，2014年大数据将成为必要投资。与此同时，摩根斯坦利预测了大数据中“十大最快增速领域”。而在美国资深技术派眼中，更为看重的是“实时分析和批量处理与分析”背后的技术。

全球经济环境的不景气直接影响了IT系统建设的资金投放。不过，Gartner认为“major retardants to IT growth will lift”。随着全球经济正在更大范围内复苏，2013年会出现增量。其中，IT支出将达到3.7万亿，较2012年将增长4.2%。这比之前所预测的3.8%还有增加，由此可见其乐观态度。此外，全球软件支出预计降到2960亿美元，增加6.4%；热点技术如安全、存储管理、客户关系管理等将驱动更高的增长，而全球电信市场仍然是IT最大的消费市场。

在Gartner看来，2014年, “大数据” 分析工具将会被视为一种必要的投资。与此同时，由于基于Android的手持设备的强势进攻，平板和PC市场都将收到最严重的打击。

Gartner：全球IT预算评估图

几乎同一时间，摩根斯坦利也发布了报告。其认为2013年大数据十大最快增速领域是：

• Healthcare  医疗
• Entertainment 娱乐
• Com/Media  互联网/媒体
• Manufacturing 制造业
• Financial 金融业
• Business Services 商业服务
• Transportation 运输业
• Web Tech Web技术
• Distribution 通讯
• Engineering 工程

若干的新技术出现，使得企业在选择平台、产品、方案和服务的时候更容易陷入不同的矛盾中，轻易做出的抉择往往会被实践所推翻。2012年，产业更多模式体现的是，将Hadoop和大数据等同起来。但又不仅局限于Hadoop。比如Cloudera的Impala，不仅是Hadoop，还关注提供所有应用程序的时间响应需求的服务，以及流量、流速、种类以数据价值分析等方面的服务。

所以，美国很多资深技术派人士如Jim Kaskade的眼中，2013年以下技术组件是必须的：

• Real-time stream processing 实时流处理
• Ad-hoc near real-time analytics (see NoSQL and NewSQL data stores)特别接近实时分析（ 基于NoSQL和NewSQL的数据存储）
• Batch Analytics 批量处理与分析

最重要的是，不是一个，而是要同时满足三个方面，才是大数据真谛所在。（王旭东/审校）