flume高并发优化——（3）haproxy

        在上篇博客中，我们虽然进行了较大的改动，但是，没有料到的是，flume的file性能瓶颈会如此快的到来，由于我们使用了一个filechannel作为负载均衡的通道，导致性能瓶颈很快到来，为了应对这样的瓶颈，我们对结构进行了第三次升级，替换了负载均衡的前端，换为性能更好的haproxy作为分发端，大家一起来看看是如何优化的。

        还是老样子，大家看看上次优化过之后的结构：

        我们将avro端口的12300接收的数据，不再通过flume分发，换为haproxy，大家看看优化完之后的结构：

        由于是avro协议，我们采用第四层改的tcp中转进行分发，haproxy的安装及配置如下：

1，安装

下载tar包：