![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
孤独人生
我孤独,故我释然!!!
展开
-
storm 自定义 日志文件
Storm中的日志级级别默认为INFO,并且,日志文件是根据worker号来进行区分的,这样,同一个log文件中的信息不一定是一个业务的,这样就会有以下两个需求出现: 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中 不要怕,不要烦恼,其实Storm已经提供了这样的支持,可以通过自定义logback 下的 cluster.xml 来输出自己想...2015-07-06 17:33:19 · 1372 阅读 · 0 评论 -
【转】Storm【配置项】 - 详细解释
摘要 Storm 全部的配置项都被写入在 backtype.strom.Config类中,此配置项为一直从Storm0.6以来不变化的引用。 配置项配置说明 storm.zookeeper.serversZooKeeper服务器列表 storm.zookeeper.portZooKeeper连接端口 storm.local.dirstorm使用的本地文件系统目录(必须存在...2015-07-21 13:26:13 · 117 阅读 · 0 评论 -
storm 性能排查过程
1. bolt spout数量 2. time_out 时间 3. max_pending 4. ack 机制2016-02-24 18:44:26 · 132 阅读 · 0 评论 -
storm worker异常重启原因排查汇总
此时此刻,正在等到6.18的到来,趁着没事写个博客,,, storm集群在worker down掉以后会自动启动新的woker,但是有很多情况下是感觉不应该重启的时候,woker重启了,因此就走上了排查woker重启的道路上~ 一、排查思路 经过排查,主要总结有以下几种问题,会导致woker重启: 1. 代码有未捕获的异常 如下例子,因为处理的数据有异常,并且在代码中没有捕...2017-06-18 01:50:06 · 1230 阅读 · 0 评论 -
Storm 重启排查(续)
此文主要接 storm worker异常重启原因排查汇总 这篇文章继续描述。上文中的第三点大概描述了一下造成重启的原因,这次又有一次详细的排查过程和思路供参考。 一、背景 今天,另一个同事反应,我们的一个任务在早上4点到10点之间会有严重的数据丢失,而这个时间点与一个数据导入任务的时间点是吻合的,经查看此任务的的数据量有将近5亿。因此,在这段时间内造成的影响还是挺大的,毕竟都是...原创 2017-08-30 17:55:45 · 1243 阅读 · 0 评论 -
Storm的容错性
Storm有几种不同的守护进程。Nimbus调度worker,Supervisor运行和杀死worker,log viewer 提供对于日志的访问方式,UI展示集群的状态。 一、问:如果一个Worker死掉了,那么会发生什么? 答:如果一个worker死掉了,那么supervisor会重启这个worker。如果这个worker在启动的时候持续失败,那么它将不能与Nimbus正常进行心跳...2017-12-19 21:46:43 · 177 阅读 · 0 评论