- 博客(2)
- 收藏
- 关注
RSS订阅原创 kafka消费延时解决实战【意想不到的消费逻辑优化】
一、背景 日志收集并入hbase 1、框架 2、日志量 每日产生数十亿条日志，其中有15%~20%为有效日志，高峰期有效日志的写入QPS为25万/秒。 3、日志过滤 80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】 4、机器部署 4台机器，每台20个线程，kafka80个partition 5...
2018-07-31 09:51:56
20435
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人