pyspark读lzo示例

pyspark读lzo示例

网上关于python用spark读lzo示例少之又少,仅有的一两个还是错的,这个问题困扰了我两个星期,现在终于解决了,特此发布上来为还在坑中的朋友提供解决办法

网上的示例只是最基础的
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setMaster(“local”).setAppName(“lzo_test”)
filerdd = sc.newAPIHadoopFile(“D:\XX.lzo”, “com.hadoop.mapreduce.LzoTextInputFormat”,
“org.apache.hadoop.io.LongWritable”, “org.apache.hadoop.io.Text”)
这种写法会爆出找不到"com.hadoop.mapreduce.LzoTextInputFormat",因为spark文件夹中缺少相关jar包,所以要下一个hadoop-lzo-0.4.21-SNAPSHOT.jar 这个包,放在spark\jars\下 然后在system32文件夹下放两个dll用来解析lzo gplcompression.dll,lzo2.dll 这两个缺一不可,都放完后,运行还是报错无法解析lzo文件,因为现在依赖都有了,但是newAPIHadoopFile方法不知道你有了,需要传入参数让他知道并调用,newAPIHadoopFile这个方法里有个参数是conf 默认是空,所以我们给他传入conf来让方法找到依赖

from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setMaster(“local”).setAppName(“lzo_test”)
sc = SparkContext(conf=conf)
dict = {“io.compression.codecs” :“org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec” , “io.compression.codec.lzo.class”:“com.hadoop.compression.lzo.LzoCodec”}
filerdd = sc.newAPIHadoopFile(“D:\XX.lzo”, “com.hadoop.mapreduce.LzoTextInputFormat”,
“org.apache.hadoop.io.LongWritable”, “org.apache.hadoop.io.Text”,conf=dict)

这就是完整代码,运行ok

https://download.csdn.net/download/nibufuss/10956446
三个补丁依赖连接