Spark平台中,对lzo压缩文件的读取--Scala实现
#记录一个坑#在Spark中,有时需要对lzo压缩文件的读取。这里采用的是newAPIHadoopFile()来进行读取 val configuration = new Configuration() configuration.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apac...
原创
2018-03-31 21:27:37 ·
5754 阅读 ·
0 评论