Storm
文章平均质量分 56
layne_liang
这个作者很懒,什么都没留下…
展开
-
flume-ng+Kafka+Storm+HDFS 实时系统搭建
一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写这篇文章@晨色星空J2EE也给了我很大帮助,这里也谢谢@晨色星空J2EE之前在弄这个的时候,跟转载 2015-07-22 15:41:10 · 559 阅读 · 0 评论 -
flume+kafka+storm
centos06.6+JDK1.7flume1.4+kafka2.10+storm0.9.3zookeeper3.4.6集群:192.168.80.133 x01192.168.80.134 x021.两台机器上设置hostname和hosts。。。2.两台机器上安装JDK并设置环境变量3.下载安装zookeeper并设置环境变量转载 2015-07-22 15:15:22 · 292 阅读 · 0 评论 -
flume、kafka、storm常用命令
flume、kafka、storm常用命令一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭stormps -ef|grep apache-storm-0.9.2-incubating|grep原创 2015-07-22 15:37:40 · 507 阅读 · 0 评论 -
spark streaming 与 storm的对比
feature strom (trident)spark streaming说明并行框架基于DAG的任务并行计算引擎(task parallel continuous computational engine Using DAG)基于spark的数据并行计算引擎(data parallel general purpose转载 2015-07-22 15:25:16 · 2414 阅读 · 0 评论 -
Storm On Yarn部署
Storm是一个实时计算框架,与MapReduce离线计算框架,两者互补,分别可以用来解决不同场景下的问题。Yarn是Hadoop2.0中新引入的资源管理系统。通常情况下,Storm是部署到一个独立的集群中,相比将Storm部署到独立集群,将其部署到Yarn上有以下几个好处: 1)弹性计算资源: 将Storm运行到Yarn上之后,Storm可以和其他应用程序共享整个集群中的资源,并且可以动态地原创 2015-07-22 15:19:32 · 585 阅读 · 0 评论 -
Storm UI各个指标详解
Storm UI本文主要解释下storm ui上各项属性的含义。1. mainpage 首页主要分为3块: a. Cluster Summary Nimbus uptime: nimbus的启动时间 Supervisors: storm集群中supervisor的数目 used slots: 使用了的slots数 free slo原创 2015-07-24 15:11:51 · 5744 阅读 · 1 评论