通过一年多时间的使用,统一日志系统,已经接入公司前台,在20个节点,几十万用户,数百亿交易额的大压力下,仅仅使用了一个普通的服务器,承受住了严峻的考验,在公司今年更宏大的目标,也是为了给大数据组提供更加全面信息的需求下,公司所有项目,要接入ULOG系统,主要包含管理后台,wap,app等,流量一下达到一个峰值,flume的瓶颈凸显出来,在解决的过程中,对flume的了解以及性能调优,有了更深入的认识,接下的文章,会比较紧凑,请大家紧随脚步,看看我们这几周的调优结果。
大家还记得以前的ulog部署方案吗?我们通过一张图来回忆一下:
专栏地址:大数据下的日志
这是一个最初的方案,这个方案,马上面临了以下问题:
1,flume使用memory作为channel经常丢失数据
2,两个节点分担压力有限
基于此,