Flume监听数据到Hive案例

1. 案例描述及准备

Exec Source:监听一个指定的命令，获取一条命令的结果作为它的数据源
#常用的是tail -F file指令，即只要应用程序向日志（文件）里面写数据，source组件就可以获取到日志（文件）中最新的内容

memory:传输数据的Channel为Memory

hdfs 是输出目标为Hdfs

创建相应的hive表

create table sql_log (source_ip string,dest_ip string,
db_name string,db_type string, 
opt_type string,opt_desc string,
time string) 
row format delimited
fields terminated by ','
lines terminated by '\n'
stored as textfile;

2 flume配置方案

[root@zrclass01 flumeconf]# vi exec-hdfs.conf
a1.sources=r1
a1.sources.r1.type=exec
a1.sources.r1.command=tail -f /home/syslog/sql_log.log

a1.sinks=k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://zrclass01/user/hive/warehouse/log.db/sql_log
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix=events
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round=true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue=10
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit=second
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval=3
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize=20
#文件的滚动与Event数量
a1.sinks.k1.hdfs.rollCount=5
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize=1
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType=DataStream


a1.channels=c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

3 启动Agent

[root@zrclass03 flumeconf]# flume-ng agent -c ../conf -f ./exec-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

4 测试数据

新打开一个窗口，向flume监听的文件写入一条数据

[root@zrclass03 flumedata]# echo 10.3.3.3,11.11.11.11,order,mysql,select,select * from order,2022-03-11 8:03:30 >> /home/syslog/sql_log.log

查看hdfs

查看对应的hive表