Storm
文章平均质量分 80
roadrunners
这个作者很懒,什么都没留下…
展开
-
Storm0.9.4的集群部署
Twitter开源的Storm是一个分布式的、可靠的、容错的实时计算系统。Storm的其它概念和功能特点此处就不再赘述,这里主要讲Storm如何在集群中正确配置安装。在我之前听说Storm的时候,Storm的网络传输还是通过ZeroMQ来实现的,当前版本已经支持Netty Transport传输了,而且据说后者的性能要比前者高一倍,我们果断选择后者。好了言归正传,下面进入部署环节。 1...原创 2015-05-28 16:12:39 · 158 阅读 · 0 评论 -
在storm集群环境下发布Topology
storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中,通过storm的管理命令来发布和管理集群中的topology。 1、打包打包插件是使用maven提供的maven-shade-plugin,详细见maven-shade-plugin。<plugin> <groupId>org.apache.maven.plu...2015-07-01 16:42:23 · 490 阅读 · 0 评论 -
Storm0.9.5的集群部署配置优化
nimbus结点配置(storm.yaml)信息:# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional i...2015-07-01 18:07:27 · 118 阅读 · 0 评论 -
解决storm集群上的nimbus和supervisor结点无缘无故自动停止的方案
storm在生产上跑得很欢快,最近突然遇到一个问题,不知道storm是什么原因,无缘无故的自动停止了。查看日志没有任何的报错信息,包括警告信息都没有,反正就是无缘无故的shut down了。问题分析,初步我们判断应该是系统资源不足导致的,但这只是推测,因为storm集群的这些server都没有做监控,只有后面加上监控才能验证是否是因为资源问题引起的。 好吧!既然遇到问题咱们就解决问题吧...2015-07-24 13:29:24 · 2867 阅读 · 4 评论 -
storm通过JMX监控nimbus、supervisor
storm.yaml添加JMX的配置如下: nimbus.childopts: "-Xmx1024m -Djava.rmi.server.hostname=192.168.1.1 -Dcom.sun.management.jmxremote.port=9801 -Dcom.sun.management.jmxremote.authenticate=f...2015-08-24 17:08:30 · 550 阅读 · 0 评论