第一步:
开启hadoop
strat-all.sh
flume应用 负载均衡
第一步:
开启hadoop
strat-all.sh
第二步:
上次只在第一台配置了flume 需要传输给其他两台。
scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd2:/export/servers/
scp -r /export/servers/apache-flume-1.9.0-bin/ root@hd3:/export/servers/
接下来配置负载均衡,其实只要配置文件。
exec-avro.conf 这个文件 上传到 /export/servers/apache-flume-1.9.0-bin/conf
修改这个文件,
下一步:
avro-logger.conf 这个文件 上传 到 hd2 的 /export/servers/apache-flume-1.9.0-bin/conf
需要修改
下一步:
第三台一样,avro-logger.conf 这个文件上传 记得改名字
开始启动:
必须先启动hd2 hd3 在启动hd1 , 回到hd2 /export/servers/apache-flume-1.9.0-bin/
bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console
第三台也一样。回到flume的根目录执行。
bin/flume-ng agent -c ./conf -f ./conf/avro-logger.conf -n a1 -Dflume.root.logger=INFO,console
最后,开启第一台
也是回到flume的根目录执行。这个是exec-avro
bin/flume-ng agent -c ./conf -f ./conf/exec-avro.conf -n a1 -Dflume.root.logger=INFO,console
根目录下必须有logs文件夹。
hd1 执行 //每隔三秒写入
while true;do echo "access access ....">>/root/logs/123.log;sleep 3;done
成功,随机找一台空闲时间的主机进行传输。有可能是hd2 也有可能是hd3