当在YARN集群上运行Spark任务时，由于Hadoop配置了Lzo压缩，但Spark缺少对应的jar包，导致抛出异常。解决方法包括将hadoop-lzo-0.4.20.jar软链接到Spark的jars目录或在spark-default.conf中添加该jar的路径。这样确保Spark可以找到Lzo压缩所需的库。
翻译：压缩编解码器com.hadoop.compression.lzo.LzoCodec未找到
问题：
在yarn集群上提交一个spark-submit的任务，最后抛出一个异常
解决方案
原因：在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到。这是因为在hadoop 的core-site.xml 和mapred-site.xml 中开启了压缩，并且压缩式lzo的。这就导致写入上传到hdfs 的文件自动被压缩为lzo了。而spark没有lzo这个jar包，所以无法被找到。
方法一：
软链接到spark下的jars目录，注意自己的hadoop-lzo-0.4.20.jar的目录！
ln -s /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark-yarn/jars/hadoop-lzo-0.4.20.jar
方法二：
配置spark-default.conf文件，注意自己的hadoop-lzo-0.4.20.jar的目录！
在最下面添加一行
spark.jars=/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar
总结
本文总结了在hadoop搭建完lzo后，spark找不到jar包的问题。
扫一扫
1997
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
