flume应用（负载均衡）

第一步：

开启hadoop

strat-all.sh

flume应用 负载均衡

第一步：

开启hadoop

strat-all.sh

第二步：

上次只在第一台配置了flume 需要传输给其他两台。

scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd2:/export/servers/
scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd3:/export/servers/

接下来配置负载均衡，其实只要配置文件。

exec-avro.conf 这个文件 上传到 /export/servers/apache-flume-1.9.0-bin/conf

修改这个文件，

下一步：

avro-logger.conf 这个文件 上传 到 hd2 的 /export/servers/apache-flume-1.9.0-bin/conf

需要修改

下一步：

第三台一样，avro-logger.conf 这个文件上传 记得改名字

开始启动：

必须先启动hd2 hd3 在启动hd1 ， 回到hd2 /export/servers/apache-flume-1.9.0-bin/

bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console

第三台也一样。回到flume的根目录执行。

bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console

最后，开启第一台

也是回到flume的根目录执行。这个是exec-avro

bin/flume-ng agent -c ./conf -f ./conf/exec-avro.conf -n a1 -Dflume.root.logger=INFO,console

根目录下必须有logs文件夹。

hd1 执行 //每隔三秒写入

while true;do echo "access access ....">>/root/logs/123.log;sleep 3;done

成功，随机找一台空闲时间的主机进行传输。有可能是hd2 也有可能是hd3