flume的简单使用

上篇hadoop配置文件目录为：/hadoop-version（2.6.4）/etc/hadoop,【之所以记录这个目录，是因为在这个集群之前，我配置过一些版本更早的集群（包括hadoop1），路径不太一样】。

hadoop启动是在sbin目录下start-all.sh（后改为start-dfs.sh  start-yarn.sh）

启动后mini1下会有进程NameNode，SecondaryNameNode，ResourceManager

mini2 3 4 下会有进程DataNode,NodeManager

其中SecondaryNameNode的配置是在hdfs-site.xml  中配置dfs.secondary.http.address  (172.16.227.3.50090)[https://blog.csdn.net/weixin_37838429/article/details/81674765]

 

hadoop集群启动后可以使用web页面检查集群  172.16.227.3：8088 （yarn）  172.16.227.3：50070（hdfs）

 

 

flume的安装比较简单，配置文件是在conf下。常见的配置比如netcat-logger.conf,

启动命令：bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

在另一个客户端启动   telnet localhost 44444[https://blog.csdn.net/zhou920786312/article/details/88630781]

 

也可以配置成sources是文件 sink是kafka 

 

转载于:https://www.cnblogs.com/star-00/p/11200239.html