Flume 注意事项

1、启动后log日志一直不更新

原因：后台起了多个flume进程，故日志出现异常

解决措施：

1.1第一步：查找进程

 ps -ef |grep flume

1.2第二步：关闭旧进程

kill -kill 进程号

2、 按照尚硅谷一直报错hdfs和kafka server需要指定。

将source和sink的channel放上来。

以下是解决后的配置。

## 组件
a1.sources= r1
a1.channels= c1
a1.sinks= k1


## source1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers
= hadoop1:9092,hadooop2:9092,hadoop3:9092
a1.sources.r1.kafka.topics=hello
a1.sources.r1.channels = c1


## channel1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir= /program/flume-1.10.0/checkpoint/behavior1
a1.channels.c1.dataDirs = /program/flume-1.10.0/data/behavior1/
a1.channels.c1.keep-alive = 6


## sink1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://10.1.13.73:9000/origin_data/testmall/log/hello/%Y-%m-%d/%H%M/%S
a1.sinks.k1.channel= c1
a1.sinks.k1.hdfs.filePrefix = loghello-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = minute

3、hdfs接口配置9000报连接错误。 正常写8020接口