模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中

首先给大家分享一个巨牛巨牛的人工智能教程，是我无意中发现的。教程不仅零基础，通俗易懂，而且非常风趣幽默，还时不时有内涵段子，像看小说一样，哈哈～我正在学习中，觉得太牛了，所以分享给大家！点这里可以跳转到教程

                    

1.采集日志文件时一个很常见的现象

采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。
  
  
  

   
1
  

1.1.根据需求，首先定义一下3大要素：

采集源，即source—监控日志文件内容更新：exec ‘tail -F file’
下沉目标，即sink—HDFS文件系统：hdfs sink
Source和sink之间的传递通道—-channel,可用file channel也可以用 内存channel。

1.2.进入/home/tuzq/software/apache-flume-1.6.0-bin/agentconf，编写配置文件tail-hdfs.conf，文件内容如下：

# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the source## exec表示flume回去调用给的命令，然后从给的命令的结果中去拿数据a1.sources.r1.type = exec## 使用tail这个命令来读数据a1.sources.r1.command = tail -F /home/tuzq/software/flumedata/test.loga1.sources.r1.channels = c1# Describe the sink## 表示下沉到hdfs，类型决定了下面的参数a1.sinks.k1.type = hdfs## sinks.k1只能连接一个channel，source可以配置多个a1.sinks.k1.channel = c1## 下面的配置告诉用hdfs去写文件的时候写到什么位置，下面的表示不是写死的，而是可以动态的变化的。表示输出的目录名称是可变的a1.sinks.k1.hdfs.path = /flume/tailout/%y-%m-%d/%H%M/##表示最后的文件的前缀a1.sinks.k1.hdfs.filePrefix = events-## 表示到了需要触发的时间时，是否要更新文件夹，true:表示要a1.sinks.k1.hdfs.round = true## 表示每隔1分钟改变一次a1.sinks.k1.hdfs.roundValue = 1## 切换文件的时候的时间单位是分钟a1.sinks.k1.hdfs.roundUnit = minute## 表示只要过了3秒钟，就切换生成一个新的文件a1.sinks.k1.hdfs