Storm 简介

Storm是Twitter开源的一个分布式的实时计算系统,用于数据的实时分析,持续计算,分布式RPC等等。

官网地址:http://storm-project.net/

源码地址:https://github.com/nathanmarz/storm

实时计算需要解决一些什么问题

最显而易见的就是实时推荐系统,比如我们在淘宝等电商购物网站去买东西,我们会在网页旁边或者底端看到与自己所需要商品相关的系列产品。这就是使用类似storm实时计算去做的,我们非常熟悉的Hadoop只是做离线的数据分析,无法做到实时分析计算。

比如车流量实时的计算,每天我们北京市的交通情况非常的拥挤,我们可以利用Stomm为我们实时计算每一个路段的拥挤度等相关路况信息。再比如我们非常熟悉的股票,那么股票系统也是一种实时计算的机制,利用Storm完全可以实现.

实现一个实时计算系统

低延迟:都说了是实时计算系统了,延迟是一定要低的。

高性能:可以使用几台普通的服务器建立环境,结余成本。

分布式:Storm非常适合于分布式场景,大数据的实时计算;你的数据和计算单机就能搞定,那么不用考虑这些复杂的问题了。我们所说的是单机搞不定的情况。

可扩展:伴随着业务的发展,我们的数据量、计算量可能会越来越大,所以希望这个系统是可扩展的。

容错:这是分布式系统中通用问题,一个节点挂了不能影响我的应用,Storm可以轻松做到在节点挂了的时候实现任务转移,并且在节点重启的时候(也就是重新投入生产环境时,自动平衡任务)

可靠性:可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。

快速:系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列(Storm0.90版本之前) 。

本地模式:Storm有一个“本地模式”,可以在处理过程中完全模拟Stomm集群。这让你可以快速进行开发和单元测试。

首先我们拿Hadoop和Storm进行一个简单的对比:

Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。Storm有很多使用场景:如实时分析,在线机器学习,持续计算,分布式RPC,ETL等等。Storm支持水平扩展,具有高容错性,保证每个消息都会得到处理,而且处理速度很快(在一个小集群中,每个结点每秒可以处理数以百万计的消息)。Storm的部署和运维都很便捷,而且更为重要的是可以使用任意编程语言来开发应用。

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JAVA代码搬运工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值