Spark job failed due to task failures: native-lzo library not available

最新推荐文章于 2024-06-17 15:10:32 发布
最新推荐文章于 2024-06-17 15:10:32 发布
阅读量914 收藏
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43612872/article/details/116120623
版权

问题的原因是spark默认没有配置lzo支持造成的。所以再写入lzo表时会报错，需要在让spark支持lzo格式（如果使用MR引擎无需设置）。

在配置栏里搜索spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）

在这里插入图片描述
找到你的lzo目录 如

/opt/cloudera/parcels/GPLEXTRAS/lib

复制以下内容粘贴到配置中

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
最低0.47元/天 解锁文章
水之脉搏
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive insert overwrite时设置lzo压缩格式报错：NATIVE-LZO LIBRARY NOT AVAILABLE 解决方案
qq_34577182的博客
02-25 2268
最近在将hive中的临时表数据insert overwrite到ods表中去的时候，设置为lzo的压缩格式，报错如下： Caused by: java.lang.RuntimeException: native-lzo library not available 针对"native-lzo library not available" 异常即lzo安装的异常。 查了很多帖子，最终整合了解决方法。 1.将 HADOOP-LZO-0.4.20放到 每个机器的 /HADOOP-2.7.2/SHARE/HADO
flume使用lzop报错：native-lzo library not available
lzh253985690的博客
11-30 1130
通常问题是在java.library.path中没有找到hadoop的native编译包导致，解决方案是在linux的环境变量中增加一项配置 [lzh@hadoop102 ~]$ sudo vi /etc/profile 给java.library.path增加hadoop的native路径，以便程序可以正常加载 export LD_LIBRARY_PATH={你的hadoop路径}/lib/n...
spark job 异常问题
liuwei063608的专栏
03-04 1414
== spark job 异常问题 == === 1、java.io.IOException : Cannot run program “/usr/local/bin/python”=== yarn-client模式 sparrk-python 任务异常 java.io.IOException: Cannot run program “/usr/local/bin/python”: error=...
spark 读取lzo 环境依赖
guitarCC的博客
09-26 955
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
java.lang.RuntimeException: native-lzo library not available解决方案
weixin_44749387的博客
08-20 2156
20/05/30 11:42:50 INFO hdfs.BucketWriter: Creating /origin_data/gmall/log/topic_event/2020-05-29/logevent-.1590810087777.lzo.tmp 20/05/30 11:42:50 ERROR hdfs.HDFSEventSink: process failed java.lang.RuntimeException: native-lzo library not available at com
hadoop2.6 上hive运行 报“native-lzo library not available”异常处理
weixin_30342827的博客
01-08 2759
环境：Hadoop 2.6.0 + hive-0.14.0 问题出现的背景：在hive中建表 （建表语句如下），并且表的字段中有Map，Set,Collection等集合类型。 CREATE EXTERNAL TABLE agnes_app_hour( start_id string, current_time string, app_name string, app_version s...
allowed_failures:travis-ci allowed_failures 测试
06-08
allowed_failures travis-ci allowed_failures 测试
pytest-github-actions-annotate-failures:Pytest插件使用GitHub Actions的工作流命令注释失败的测试
05-04
pytest-github-actions-注释失败 插件使用的注释失败的测试 用法 只需在工作流程中使用此插件安装并运行pytest即可。 例如， name : test on : push : jobs : test : runs-on : ubuntu-latest ...
handling-failures:网络研讨会“使用消息处理失败”的演示代码
05-15
处理失败 网络研讨会“使用消息处理失败”的演示代码 该研讨会是由托管 ，NServiceBus，ServiceMatrix的制造商，ServicePulse等。 它由我于2015年8月18日提出，在@DanielMarbach和@MauroServienti的帮助下。...
3D Printing Failures: How to Diagnose and Repair All 3D Printing Issues
09-14
Whether you are new to 3D printing, or you have dozens of successful prints under your belt, this book is going to help you! Sean Aranda and David Feeney have hundreds of thousands of successful 3d ...
show-jenkins-failures:Chrome扩展程序可处理地面管道故障
05-12
显示詹金斯失败快速chrome插件可将流水线故障显示在flowGraph页面的顶部。
flume消费kafka数据到hdfs 报错 native-lzo library not available 解决方案
Kk_is_me的博客
06-19 800
flume消费kafka数据到hdfs 报错 native-lzo library not available 解决方案说明下载的安装包一律放在 /opt/software/ 目录下1.验证安装环境（以root账户执行）：>>>记得换root登录2.安装LZO (以下以atguigu用户执行)>>>记得换atguigu登录接下来几行 每台机器都照做3.安装LZOP接下来几行 每台机器都照做4.把lzop复制到/usr/bin/5.将 hadoop-lzo-0.4.20放到
使用idea时候遇到的一些输出文件或者读取文件路径问题
热门推荐
CristianTang的博客
03-20 1万+
读取resources路径下的文件：private static void getFile() { InputStream inputStream = Ctest.class.getClassLoader().getResourceAsStream("k/kk.txt"); InputStreamReader isr = new InputStreamReader(inputStr...
Java项目调用hadoop-lzop报错：native-lzo library not available
u013933879的博客
08-03 4504
Java项目调用hadoop-lzop报错：native-lzo library not available 服务器环境已安装好所有Hadoop相关的内容，但在java项目中使用hadoop-lzop的功能时依然报错 错误内容： java.lang.RuntimeException: native-lzo library not available at com.hado...
hive on spark 执行sql报错
cclovezbf的博客
09-20 3109
报错信息ERROR : FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed due to: Job 3 cancelled。这个是因为我们之前设置的excutor.memory=6G，其中有一些reseverd啥的。这个是啥，看过我其他文章的我都会提到这个，这个vector叫矢量化，也就是看你开启矢量化。如下图 这个文件格式如下 是真的垃圾。
Spark RDD算子
最新发布
shijiuhuaR的博客
06-17 363
​ reduceByKey()算子的作用对象是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将key相同的元素聚集到一起，最终把所有key相同的元素合并成一个元素。​ groupByKey()算子的作用对象是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将key相同的元素聚集到一起，最终把所有key相同的元素合并成为一个元素。与map()算子类似，但是每个传入函数的RDD元素会返回0到多个元素，最终会将返回的所有元素合并到一个RDD。
failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.22.2:test (default-test) on project demo: there are test failures.
03-16
目标 org.apache.maven.plugins:maven-surefire-plugin:2.22.2:test (default-test) 在项目 demo 上执行失败，存在测试失败。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值