storm
Suntoma
全栈架构师的成长采坑之路。
展开
-
利用storm1.0的窗口机制做pv统计(一)
近期需要用storm(1.0版本)做pv统计,现在通过博客把topology的设计,coding,和上线调优的过程记录下来,留着给做相关事情的小伙伴阅读一下。 一. 首先叙述一下业务场景,网站的访问信息被网关层nginx记录下来,nginx日志以json的数据结构发到我们的kafka消息队列中,需要利用storm实时处理平台去fetch数据,将数据指标按照不同的访问域,不...原创 2018-04-15 23:39:58 · 1358 阅读 · 0 评论 -
利用storm1.0的窗口机制做pv统计(二)
在第一版里我着重的讲述了如何利用storm1.0带的窗口机制来做pv统计,而在(二)里面,我是基于(一)的升级,首先我还是来描述一下业务场景: 随着业务高峰期的到来,kafka中计算数据的qps急速增加,而计算资源的紧张导致cpu也直线飙升,所以计算延迟,服务down掉的情况时有发生,这时通过对每一个bolt执行时间的监控,发现了问题,(一)的数据落地在mysql中,...原创 2018-07-26 14:55:52 · 495 阅读 · 0 评论 -
利用storm个性化存储hdfs(更改storm-hdfs插件源码)
在项目过程中,有这样一个需求,需要用storm消费实时流日志,存储hdfs,如果伙伴们要是抱着自己开发存储的心态去做,可能会耗费一定的开发周期,比较不划算,因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs,但是这个包中是按固定路径去存储的,在实际生产业务中,我们往往会有利用tuple中的字段作为存储路径的需求,这样的话,只需要重写一个...原创 2018-07-26 15:03:13 · 462 阅读 · 0 评论