1. 案例描述及准备
Exec Source:监听一个指定的命令,获取一条命令的结果作为它的数据源
#常用的是tail -F file指令,即只要应用程序向日志(文件)里面写数据,source组件就可以获取到日志(文件)中最新的内容memory:传输数据的Channel为Memory
hdfs 是输出目标为Hdfs
创建相应的hive表
create table sql_log (source_ip string,dest_ip string,
db_name string,db_type string,
opt_type string,opt_desc string,
time string)
row format delimited
fields terminated by ','
lines terminated by '
'
stored as textfile;
2 flume配置方案
[root@zrclass01 flumeconf]# vi exec-hdfs.conf
a1.sources=r1
a1.sources.r1.type=exec
a1.sources.r1.command=tail -f /home/syslog/sql_log.log
a1.sinks=k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://zrclass01/user/hive/warehouse/log.db/sql_log
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix=events
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round=true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue=10
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit=second
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval=3
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize=20
#文件的滚动与Event数量
a1.sinks.k1.hdfs.rollCount=5
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize=1
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp=true
#设置文件类型,可支持压缩
a1.sinks.k1.hdfs.fileType=DataStream
a1.channels=c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
3 启动Agent
[root@zrclass03 flumeconf]# flume-ng agent -c ../conf -f ./exec-hdfs.conf -n a1 -Dflume.root.logger=INFO,console
4 测试数据
新打开一个窗口,向flume监听的文件写入一条数据
[root@zrclass03 flumedata]# echo 10.3.3.3,11.11.11.11,order,mysql,select,select * from order,2022-03-11 8:03:30 >> /home/syslog/sql_log.log
查看hdfs
查看对应的hive表
总结
写到这里也结束了,在文章最后放上一个小小的福利,以下为小编自己在学习过程中整理出的一个关于 java开发 的学习思路及方向。从事互联网开发,最主要的是要学好技术,而学习技术是一条慢长而艰苦的道路,不能靠一时激情,也不是熬几天几夜就能学好的,必须养成平时努力学习的习惯,更加需要准确的学习方向达到有效的学习效果。
由于内容较多就只放上一个大概的大纲,需要更及详细的学习思维导图的 点击我的Gitee获取。
还有 高级java全套视频教程 java进阶架构师 视频+资料+代码+面试题!
全方面的java进阶实践技术资料,并且还有技术大牛一起讨论交流解决问题。