Spark job failed due to task failures: native-lzo library not available
问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错,需要在让spark支持lzo格式(如果使用MR引擎无需设置)。在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段(安全阀)找到你的lzo目录 如/opt/cloudera/parcels/GPLEXTRAS/lib复制以下内容粘贴到配置中export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEX
原创
2021-05-24 22:48:14 ·
977 阅读 ·
1 评论