问题描述
使用Spark beeline连接外置hive之后select语句报错
Class com.hadoop.compression.lzo.LzoCodec not found
问题原因
Spark on Yarn会默认使用Hadoop集群配置文件设置编码方式,但是Spark在自己的spark-yarn/jars 包里面没有找到支持lzo压缩的jar包,所以报错。
问题解决
拷贝lzo到spark的jar目录下
cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark3/jars/