flume高并发优化——（3）haproxy

2016年04月25日 17:09:14

阅读数：4703

        在上篇博客中，我们虽然进行了较大的改动，但是，没有料到的是，flume的file性能瓶颈会如此快的到来，由于我们使用了一个filechannel作为负载均衡的通道，导致性能瓶颈很快到来，为了应对这样的瓶颈，我们对结构进行了第三次升级，替换了负载均衡的前端，换为性能更好的haproxy作为分发端，大家一起来看看是如何优化的。

        还是老样子，大家看看上次优化过之后的结构：

        我们将avro端口的12300接收的数据，不再通过flume分发，换为haproxy，大家看看优化完之后的结构：

        由于是avro协议，我们采用第四层改的tcp中转进行分发，haproxy的安装及配置如下：

1，安装

下载tar包：http://pan.baidu.com/s/1qYchXpy

[html]  view plain  copy

1. tar zcvf haproxy-1.3.20.tar.gz  
2. cd haproxy-1.3.20  
3. make TARGET=linux26 PREFIX=/usr/local/haproxy                                #将haproxy安装到/usr/local/haproxy  
4. make install PREFIX=/usr/local/haproxy  

备注：linux26为linux内核版本 ，通过 uname -a 查看linux内核版本。这个参数必须带，否则会出错。

2，配置

[html]  view plain  copy

1. cd /usr/local/haproxy  
2. vi haproxy.cfg  

我的配置文件如下：

[html]  view plain  copy

1. global  
2.     log         127.0.0.1 local2  
3.     chroot      /export/home/haproxy  
4.     pidfile     /export/home/haproxy/haproxy.pid  
5.     maxconn     4000  
6.     user        root  
7.     daemon  
8.   
9. defaults  
10.     mode        tcp  
11.     log         global  
12.     option      tcplog  
13.     option      redispatch  
14.     timeout connect 10000  
15.     timeout client 300000  
16.     timeout server 300000  
17.     maxconn     60000  
18.     retries     3  
19.   
20. listen 12300  
21.    bind 192.168.10.83:12300  
22.    mode tcp  
23.    balance roundrobin  
24.    server tcp-1 192.168.10.83:12301  
25.    server tcp-2 192.168.10.83:12302  
26.    server tcp-3 192.168.10.83:12303  
27.    server tcp-4 192.168.10.83:12304  
28.    server tcp-41 192.168.10.84:12301  
29.    server tcp-42 192.168.10.84:12302  
30.    server tcp-43 192.168.10.84:12303  
31.    server tcp-44 192.168.10.84:12304  

意思是从192.168.10.83:12300端口分发到8个端口，模式为tcp分发。

3，启动和停止

启动服务

[html]  view plain  copy

1. /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg  

停止服务：

[html]  view plain  copy

1. killall haproxy  

总结：

        经过haproxy的代理，我们前端的压力变得非常小，这样我们就可以有余力解决其他的性能问题，而现在摆在我们面前的问题，只剩一个，就是由kafka到es的flume性能问题，关于这个问题，我们下篇博客介绍如何解决。