- 博客(1)
- 收藏
- 关注
原创 Spark job failed due to task failures: native-lzo library not available
问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错,需要在让spark支持lzo格式(如果使用MR引擎无需设置)。 在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段(安全阀) 找到你的lzo目录 如 /opt/cloudera/parcels/GPLEXTRAS/lib 复制以下内容粘贴到配置中 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEX
2021-05-24 22:48:14 924 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人