Storm
jsky_studio
IT人的微信自媒体--- 杰天空, 走在寻找创意的路上
发掘创意,点缀生活,品味人生。
展开
-
启动Storm集群时碰到的Supervisor反复重启问题
启动Storm集群,发现Supervisor进程反复重启。查看supervisor.log, 提示如下错误:2014-11-01 08:53:44 b.s.event [ERROR] Error when processing eventjava.io.FileNotFoundException: File '/usr/apache-storm-0.9.1-incubating/data/原创 2015-01-08 22:36:18 · 4409 阅读 · 0 评论 -
Apache Storm提交Topology时的默认CLASSPATH问题
曾经在使用Storm时碰到一个问题:向集群提交一个新的Topology Jar包,在线运行的却是旧代码。自己百思不得其解,后来发现Storm的安装目录下(也可以说是Storm的HOME目录)有一个同名的旧Jar包,删除后问题解决。。。总结下自己的分析,请路过高手指正: 首先猜测问题出在Java CLASSPATH上,于是阅读Storm源代码去研究,终于在 bin/storm 这个可原创 2015-02-09 20:52:44 · 3799 阅读 · 0 评论 -
Storm Topology设计入门
最近常和Storm打交道,今天第一次写个总结。为什么Storm上跑的应用叫做Topology ( 拓扑 ) ? 这得从Stream Grouping概念说起。设计一个Topology, 核心就是设计Storm上的数据流如何被Topology的各个Bolt消费。Stream Grouping描述了这种Spout和每一个Bolt之间的上下游关系,规定每个Bolt结点消费哪些数据。我原创 2014-12-28 01:05:50 · 1484 阅读 · 0 评论 -
关于Storm和Thrift
简单总结下自己看Storm中thrift相关源码的理解,请高手指正。 Thrift是一个支持多种程序语言开发的框架,其核心是Thrift编译器和Thrift Server。Storm源码中貌似默认支持的是Java和Python,因为有看到genthrift.sh中生成了storm.thrift描述对应的Java和Python代码。 Storm的核心逻辑部分还是C原创 2015-02-11 21:24:47 · 2208 阅读 · 0 评论 -
Storm开发过程中遇到的Topology “hang"问题
题目中之所以用双引号标注”hang", 是因为自己碰到的问题并不是Topology程序真的hang住了,而是有其他原因。我曾经碰到的问题大致如下: 提交Topology之后,刚开始的几小时是正常运行的,但系统处理的数据量之后会越来越少,直至变为0,就像Topology hang住一样。总结下自己在分析解决该问题时的思路:由于特殊原因,刚开始没条件部署Storm UI,所以走了一些弯路。原创 2015-06-28 22:45:24 · 1342 阅读 · 1 评论 -
Storm+Redis性能优化问题
结合自己的开发及调试经历,总结一下经验教训。提升 Storm Topology的性能,不能只关注提高进程(worker)及线程(executor: spout/bolt)并发度, 也要注意是否有外部瓶颈; 我的问题就在于Topology最后一级Bolt是要把分析结果写入Redis, 由于tuple吞吐量为每分钟数百万级,给Redis服务器带来很大压力。 我的优化思路如下:原创 2015-08-30 18:58:33 · 3633 阅读 · 0 评论