Titan 数据运营采集系统
彩
weixin_52346735
Wang-Gang
展开
-
业务中产生的业务日志所用到的压缩算法
原创 2021-02-08 10:14:25 · 232 阅读 · 0 评论 -
项目-----数据采集入库报错问题总结
– 问题总结flume的agent的堆内存大小默认只有20M,在生产中是肯定不够的一般需要给到1Gvi bin/flume-ng搜索 Xmx ,并修改channel阻塞启动flume之前,积压的数据过多,所以,source读得很快,而sink写hdfs速度有限,会导致反压反压从下游传递到上游,上游的flume的运行日志中会不断报:channel已满,source重试这里就涉及到flume的运行监控 :如果通过监控,发现channel频繁处于阻塞状态,可以通过如下措施予以改善原创 2021-01-12 20:47:09 · 259 阅读 · 0 评论
分享