【Storm】(一)——让“暴风雨“来的更猛烈些吧

Storm是一个什么技术,Storm有何魔力来不辱其名,这篇文章将指引你一同来迎接Storm的挑战。

一.应运而生

思考:一个应急通知系统有这样的业务需求——需要从第三方的新浪微博数据中筛选出有关灾害,绑架,求救等危害安全方面的微博,以便做出应急响应。如果你是这个需求的开发人员,你会如何实现?

思路一:利用Java、Python等调用新浪微博的接口,获得新浪微博数据,然后对每条数据进行判断,看是否符合我们的条件,将筛选出的数据返回给前端,供前端展示。前端会每秒刷新一次来调用后台得到更新的数据。

缺陷
a.可靠性问题:处理过程中机器宕掉了,网络断掉了,数据丢失了,怎么办
b.处理速度与数据发布速度问题:
高峰时期,新浪微博的每秒发布量就达几万条,一天微博的发布量可能在百万条,而我们自己系统中的处理速度是否能赶上微博的发布速度。如果赶不上,例如一条紧急求救消息在微博上发布了,我们的系统没有及时处理到这条消息,等我们能处理了,危害已经发生或已经解除,已经体现不出我们系统的意义。

  针对上述的情景和问题,也许你能想到一个较完善的应对方案,例如备份应用到多台机器。下面我们来看看Storm是如何做到的。

配图是个类似场景

这里写图片描述

二.登场

Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use!

  从官方的解释看,Storm是一个实时的计算系统。它的优势在于实时,分布,可以在任意编程语言中使用它。

三.知彼解己

hadoop:是一个批处理系统。
storm:实时计算。

这里写图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值