实时流计算/Storm
blue_jjw
这个作者很懒,什么都没留下…
展开
-
Twitter Storm的一些关键概念
转自:Twitter Storm的一些关键概念 这篇文章翻译自storm官方wiki: https://github.com/nathanmarz/storm/wiki/Concepts, 主要介绍storm的一些关键概念。 storm的一些关键概念如下: Topologies Streams Spouts Bolts Stream groupings转载 2013-07-08 11:28:02 · 815 阅读 · 0 评论 -
twitter storm安装和storm-start的本地运行
storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候,你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 用远端模式的时候你提交的topology会在一个集群的机器上执行。 一个storm开发环境安装了你使用本地模式开发测试topology; 把topology打包以部署到远端的集群; 提交,终止远端集群上的topology所需要的一切东西。原创 2013-07-07 17:56:21 · 12687 阅读 · 2 评论 -
对互联网海量数据实时计算的理解
转自:http://www.cnblogs.com/panfeng412/archive/2011/10/28/realtime-computing-of-big-data.html 对互联网海量数据实时计算的理解 1. 实时计算的概念 互联网领域的实时计算一般都是针对海量数据进行的,除了像非实时计算的需求(如计算结果准确)以外,实时计算最重要的一个需求是能够实时响应计算结果转载 2013-07-05 15:30:37 · 1018 阅读 · 0 评论 -
Storm数据流模型的分析及讨论
转自:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html Storm数据流模型的分析及讨论 本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对转载 2013-07-05 15:10:49 · 971 阅读 · 0 评论 -
开源实时流处理系统小结
转自:http://www.cnblogs.com/panfeng412/archive/2013/02/21/open-source-real-time-stream-processing-systems.html 开源实时流处理系统小结 作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/p转载 2013-07-05 15:48:34 · 1020 阅读 · 0 评论 -
Twitter Storm源代码分析之ZooKeeper中的目录结构
转自:http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/ 我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面,nimbus通过在zookeeper上面写状态信息来分配任务,supervisor,task通过从zookeeper中读状态来领取任务,同时su转载 2013-07-05 15:53:28 · 1030 阅读 · 0 评论 -
Storm集群安装部署步骤【详细版】
转自:http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。 1. Stor转载 2013-07-05 18:02:07 · 802 阅读 · 0 评论 -
Storm使用到的相关技术总结
转自:http://www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.html Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍。以此为基础,后续再深入了解Storm的内部实现细节。 1. Zooke转载 2013-07-05 15:58:08 · 748 阅读 · 0 评论 -
非root帐号安装zeromq和jzmq
安装storm需要首先安装zeromq和jzmq,root帐号安装见twitter storm安装和storm-start的本地运行 如果不是root帐号,那么是无法把库装到默认的/usr/local/lib中,下面是非root帐号的安装办法 例如以guest帐号登陆 1.安装zeromq wget http://download.zeromq.org/zeromq-2.1.7.t原创 2013-07-12 21:12:02 · 2678 阅读 · 0 评论