1、完成安装flume,
(流程:先解压安装包、配置环境变量、flume agent的配置、flume与kafkak之间的传送数据、然后做消费的验证)
2、完成Kafka sink的配置
具体步骤如下:
1、先将flume上传至home目录下面 ,
然后对其进行解压。使用命令 : tar -zxvf apache-flume-1.7.0-bin.tar.gz -C data
2、进入其目录,将其路径拷贝出来。
然后回到home下面,对.bash_profile 进行编辑 输入命令: vi .bash_profile
将其路径添加进去。还有bin也添加进去
然后保存退出。
3、然后用命令使其生效 输入命令 : source .bash_profile 回车。
到此,也就按照完成了,(也就是一个解压和配置就完成了)
然后配置flume的agent ,agent其实它是一个java的应用。agent下面会有三个组件。
a、用于接收或生产数据的source。 b、数据缓冲和传输的channels。 c、将数据传送到agent或传送到目的地的一个组件叫sinks
配置这个组件呢,是在Flume安装目录下面有个config serverf的目录下进行配置。
agent的配置由两大部分,
第一部分是agent的命名
第二部分是具体组件的参数配置
具体如下:
1、先进入到flume的conf目录下面,进行配置。
因为没有test.properties文件。所以要创建一个
输入命令:touch test.properties 回车
然后进入编辑 输入命令: vi test.properties 进去
然后保存退出。
2、配置好了之后,需要对一些文件夹进行创建,作为 positionFile 文件的存储路径
所以要进到flume的 文件目录下面,
输入命令: mkdir test 如图所示(是在flume的目录下面的)
还有一个data/testlog 是在data下面创建的 所以先回到data目录下面
输入命令: mkdir testlog 回车
3、然后通过ll命令 进行查看
到这里也就是配置完了,接着就可以启动agent了。启动agent之前呢,先启动zookeeper 与kafka 。 因为他们和kafka之间实现数据传输
4、agent的启动是,进入到flume的bin目录下面
5、启动完后,可以往文件上面写信息,data下面的testlog。现在可以往里面写信息
(在 此之前,打开kafka的消费监听topic ,输入命令
./kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic test --from-beginning)
进行实时监控(消费)
当给testlog写入信息的时候,这里是能看得到的。
如图所示
这个也就是模拟了日记文件了。
到这来kafka和flume的整合完毕。