Storm
孤独人生
我孤独,故我释然!!!
展开
-
storm 自定义 日志文件
Storm中的日志级级别默认为INFO,并且,日志文件是根据worker号来进行区分的,这样,同一个log文件中的信息不一定是一个业务的,这样就会有以下两个需求出现:1. 想要进行一些调试信息的输出2. 调试信息或者业务日志信息想要输出到一些固定的文件中 不要怕,不要烦恼,其实Storm已经提供了这样的支持,可以通过自定义logback 下的 cluster.xml 来输出自己想...2015-07-06 17:33:19 · 1384 阅读 · 0 评论 -
【转】Storm【配置项】 - 详细解释
摘要 Storm 全部的配置项都被写入在 backtype.strom.Config类中,此配置项为一直从Storm0.6以来不变化的引用。 配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在...2015-07-21 13:26:13 · 121 阅读 · 0 评论 -
storm 性能排查过程
1. bolt spout数量2. time_out 时间3. max_pending4. ack 机制2016-02-24 18:44:26 · 139 阅读 · 0 评论 -
storm worker异常重启原因排查汇总
此时此刻,正在等到6.18的到来,趁着没事写个博客,,, storm集群在worker down掉以后会自动启动新的woker,但是有很多情况下是感觉不应该重启的时候,woker重启了,因此就走上了排查woker重启的道路上~ 一、排查思路经过排查,主要总结有以下几种问题,会导致woker重启:1. 代码有未捕获的异常如下例子,因为处理的数据有异常,并且在代码中没有捕...2017-06-18 01:50:06 · 1255 阅读 · 0 评论 -
Storm 重启排查(续)
此文主要接 storm worker异常重启原因排查汇总 这篇文章继续描述。上文中的第三点大概描述了一下造成重启的原因,这次又有一次详细的排查过程和思路供参考。 一、背景今天,另一个同事反应,我们的一个任务在早上4点到10点之间会有严重的数据丢失,而这个时间点与一个数据导入任务的时间点是吻合的,经查看此任务的的数据量有将近5亿。因此,在这段时间内造成的影响还是挺大的,毕竟都是...原创 2017-08-30 17:55:45 · 1261 阅读 · 0 评论 -
Storm的容错性
Storm有几种不同的守护进程。Nimbus调度worker,Supervisor运行和杀死worker,log viewer 提供对于日志的访问方式,UI展示集群的状态。 一、问:如果一个Worker死掉了,那么会发生什么?答:如果一个worker死掉了,那么supervisor会重启这个worker。如果这个worker在启动的时候持续失败,那么它将不能与Nimbus正常进行心跳...2017-12-19 21:46:43 · 187 阅读 · 0 评论