![](https://img-blog.csdnimg.cn/20210112204612608.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Titan 数据运营采集系统
彩
weixin_52346735
Wang-Gang
展开
-
业务中产生的业务日志所用到的压缩算法
原创 2021-02-08 10:14:25 · 173 阅读 · 0 评论 -
项目-----数据采集入库报错问题总结
– 问题总结 flume的agent的堆内存大小 默认只有20M,在生产中是肯定不够的 一般需要给到1G vi bin/flume-ng 搜索 Xmx ,并修改 channel阻塞 启动flume之前,积压的数据过多,所以,source读得很快,而sink写hdfs速度有限,会导致反压 反压从下游传递到上游,上游的flume的运行日志中会不断报:channel已满,source重试 这里就涉及到flume的运行监控 : 如果通过监控,发现channel频繁处于阻塞状态,可以通过如下措施予以改善原创 2021-01-12 20:47:09 · 213 阅读 · 0 评论