问题环境: hadoop2.7.3 和 flume 1.7.0
1.首先我的flume是单独部署在一台主机的。没该主机没有部署hadoop
所以sink写入hdfs的时候 直接报错。于是我上传了hadoop2.x.x 版本 配置了下hadoop_home path 环境变量。搞定。
2.在编写flume 写入hdfs的时候得知公司hdfs用的是lzo的文件格式储存
我直接用原生的flume 在编写属性
a1.sinks.s1.hdfs.fileType = CompressedStream
a1.sinks.s1.hdfs.codeC = lzo
的时候 启动flume报错
error during configuration
java.lang.IllegalArgumentException: Unsupported compression codec Lzop. Please choose from: [None, BZip2Codec, DefaultCodec, DeflateCodec, GzipCodec, Lz4Codec, SnappyCodec]
at org.apache.flume.sink.hdfs.HDFSEventSink.getCodec(HDFSEventSink.java:334)
at org.apache.flume.sink.hdfs.HDFSEventSink.configure(HDFSEventSink.java:237)
at org.apache.flume.conf.Configurables.configure(Configurables.java:41)
at org.