spark读取lzo文件并指定日志记录起始标识符

1、读取文件是LzoTextInputFormat.class

2、设置

JavaSparkContext jsc = new JavaSparkContext(conf);
Configuration hconf = jsc.hadoopConfiguration();
hconf.set("textinputformat.record.delimiter", "[*&^%]");
    
hconf.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzopCodec");
hconf.set("io.compression.codec.lzo.class", "com.hadoop.compression.lzo.LzoCodec");

JavaPairRDD<LongWritable, Text> newAPIHadoopFile = jsc.newAPIHadoopFile(args[4], LzoTextInputFormat.class,LongWritable.class,Text.class, hconf);

由于LzoTextInputFormat默认是按行读取,而我需要按照日志记录起始标识符读取行。

故修改源码:

com.hadoop.mapreduce.LzoTextInputFormat 


com.hadoop.mapreduce.LzoLineRecordReader


实现功能!

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页