@Windows上的flume采集数据传给服务器flume再上传给HDFS
Windows flume conf 文件:
a1.sources = r1
a1.sinks = k1
a1.channels = c1
配置 source
a1.sources.r1.type = spooldir
a1.sources.r1.channels = c1
#监控目录,不能为空,没有默认值
a1.sources.r1.spoolDir = E:\flume\test
#是否在event的Header中添加文件名,默认false
a1.sources.r1.fileHeader = true
#是否在header中添加文件的基本名称信息
a1.sources.r1.basenameHeader = true
#key的名称
a1.sources.r1.basenameHeaderKey = fileName
#忽略符合条件的文件名
a1.sources.r1.ignorePattern = ^(.)*\.tmp$
#拦截器列表
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = timestamp
配置 sink
a1.sinks.k1.type = avro
a1.sinks.k1.