项目-----数据采集入库报错问题总结

– 问题总结

1. flume的agent的堆内存大小
   默认只有20M，在生产中是肯定不够的
   一般需要给到1G
   vi bin/flume-ng
   搜索 Xmx ,并修改

2. channel阻塞
   启动flume之前，积压的数据过多，所以，source读得很快，而sink写hdfs速度有限，会导致反压
   反压从下游传递到上游，上游的flume的运行日志中会不断报：channel已满，source重试

这里就涉及到flume的运行监控 ：

如果通过监控，发现channel频繁处于阻塞状态，可以通过如下措施予以改善（优化）：

a. 如果资源允许，可以增加写入hdfs的agent机器数，通过负载均衡来提高整体吞吐量

b. 如果资源不允许，可以增大batchSize，来提高写入hdfs的效率

c. 如果资源不允许，可以配置数据压缩，来降低写入hdfs的数据流量

d. 如果source的数据流量不是恒定大于sink的写出速度，可以提高channel的缓存容量，来削峰

3.如果agent进程宕机，如何处理？

下游宕机：问题不大，我们配置高可用模式，会自动切换；当然，还是要告警，通知运维尽快修复；
上游宕机：问题较大，通过脚本监控进程状态，发现异常则重新拉起agent进程；并告警通知运维尽快查明原因予以修复；