Suntoma的博客

喜爱技术、喜欢设计、喜欢一切美的事物

利用storm个性化存储hdfs(更改storm-hdfs插件源码)

        在项目过程中,有这样一个需求,需要用storm消费实时流日志,存储hdfs,如果伙伴们要是抱着自己开发存储的心态去做,可能会耗费一定的开发周期,比较不划算,因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs,但是这个包中是按固定路径去存...

2018-07-26 15:03:13

阅读数:56

评论数:0

利用storm1.0的窗口机制做pv统计(二)

       在第一版里我着重的讲述了如何利用storm1.0带的窗口机制来做pv统计,而在(二)里面,我是基于(一)的升级,首先我还是来描述一下业务场景:        随着业务高峰期的到来,kafka中计算数据的qps急速增加,而计算资源的紧张导致cpu也直线飙升,所以计算延迟,服务down...

2018-07-26 14:55:52

阅读数:56

评论数:0

利用storm1.0的窗口机制做pv统计(一)

       近期需要用storm(1.0版本)做pv统计,现在通过博客把topology的设计,coding,和上线调优的过程记录下来,留着给做相关事情的小伙伴阅读一下。       一. 首先叙述一下业务场景,网站的访问信息被网关层nginx记录下来,nginx日志以json的数据结构发到我们...

2018-04-15 23:39:58

阅读数:314

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭