Hadoop迎来Spark Stream 激发大数据应用新变革

37 篇文章 0 订阅
37 篇文章 0 订阅

批处理本是大型机时代的主题,近十年来随着Hadoop MapReduce的关注度逐渐增加,批处理现在又重新成为热门主题。但是 Hadoop分布式供应商的高级管理人员认为,Apache Spark和其它流处理架构正在改变现状。

Jack Norris是MapR公司前任首席营销官及现任数据和应用高级副总裁,他认为,随着Apache Spark加入Hadoop,我们将看到更多实时应用和批处理架构,事件流与大数据存储是配套的。

MapR公司与Hortonworks公司、Cloudera公司一起共同打造Hadoop并带来了商业价值。而现在,Spark Streaming和其它相关技术的出现给大数据应用带来了变化,这似乎刺激了Hadoop生态系统新一轮的变革。

Spark已经成为了原生Hadoop组件特别有用的补充。 Norris估计MapR的Hadoop分布式用户有一半正在使用Spark,可能用于生产环境的不同场景。

他表示,Spark引发了一连串兴奋点,其中一部分原因是因为MapReduce编程比较困难,在早期MapReduce编程基本就是Hadoop计算的代名词。

“Spark使开发变得相对容易了。它引入了新的API,支持使用Scala和Python编程语言,这样开发应用就更方便了。同时,它还帮助实现了流分析的结构化,”Norris补充道。

Spark可以监视到事件到达并且执行自动聚合和过滤,从而把原始数据转化为有用信息,Spark使这些工作变得更加容易。Norris表示,一些应用由于整体系统限制不得不在批处理模式下工作,但是这种情况正在改变。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值