- 博客(1)
- 收藏
- 关注
RSS订阅原创 Spark job failed due to task failures: native-lzo library not available
问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错，需要在让spark支持lzo格式（如果使用MR引擎无需设置）。在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）找到你的lzo目录 如/opt/cloudera/parcels/GPLEXTRAS/lib复制以下内容粘贴到配置中export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEX
2021-05-24 22:48:14
914
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人