采集目录到 HDFS
采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到 HDFS 中去
根据需求,首先定义以下 3 大要素
数据源组件,即 source ——监控文件目录:spooldir spooldir 特性:
1、 监视一个目录,只要目录中出现新文件,就会采集文件中的内容
2、 采集完成的文件,会被 agent 自动添加一个后缀:.COMPLETED
3、 所监视的目录中不允许重复出现相同文件名的文件 下沉组件,即 sink——HDFS 文件系:hdfs sink 通道组件,即 channel——可用 file channel 也可以用内存 channel
配置文件编写:spooldir-hdfs.properties
Channel 参数解释: capacity:默认该通道中最大的可以存储的 event 数量 trasactionCapacity:每次最大可以从 source 中拿到或者送到 sink 中的 event 数量 keep-alive:event 添加到通道中或者移出的允许时间
bin/flume-ng agent -c conf -f agentconf/spooldir-hdfs.properties -n agent1
测试:
1、 如果 HDFS 集群是高可用集群,那么必须要放入 core-site.xml 和 hdfs-site.xml 文件到
$FLUME_HOME/conf 目录中
2、 查看监控的/home/hadoop/logs 文件夹中的文件是否被正确上传到 HDFS 上
3、 在该目录中创建文件,或者从其他目录往该目录加入文件,验证是否新增的文件能被自
动的上传到 HDFS
采集文件到 HDFS
采集需求:比如业务系统使用 log4j 生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到 HDFS
根据需求,首先定义以下 3 大要素
采集源,即 source–监控文件内容更新:exec “tail -F file” 下沉目标,即 sink–HDFS 文件系:hdfs sink
Source 和 sink 之间的传递通道——channel,可用 file channel 也可以用内存 channel
配置文件编写:tail-hdfs.properties
启动:
bin/flume-ng agent -c conf -f agentconf/tail-hdfs.properties -n agent1
测试:
1、 模拟像指定的日志文件/home/hadoop/logs/catalina.out 追加内容
2、 验证 HDFS 上的对应文件是否有新增内容