spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.

最新推荐文章于 2023-04-14 14:50:07 发布
最新推荐文章于 2023-04-14 14:50:07 发布
阅读量743 收藏
点赞数 1
分类专栏： 大数据 HA Hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37714755/article/details/105923376
版权
大数据 同时被 3 个专栏收录
48 篇文章 3 订阅
订阅专栏
spark
8 篇文章 0 订阅
订阅专栏
HA Hadoop
5 篇文章 0 订阅
订阅专栏

错误原因

在这里插入图片描述笔者在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到！

解决办法

将lzo的jar包路径给spark！

配置spark-default.conf文件！
在这里插入图片描述

注意

如果仍然不能找到，就将lzo的jar包放到spark的jars中

威尼斯的星期天
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop lzopcodec pom文件_Hadoop如何使用lzo压缩完整篇
weixin_42364833的博客
02-04 216
1.为啥使用了lzo仍然不能分片在hdfs.xml中，有这样的配置这个配置设置了块大小为128M，在mapreduce的过程中，inputformat执行完毕之后，默认就会根据该配置，对文件进行切块，进而根据块的数量来决定map task的数量。除了textFile之外，压缩格式中的lzo，bz2也可以进行文件的切块操作。但是从一般情况，lzo本身是无法进行切块的——如果直接将大于128M的dat...
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Spark报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found
hjhjinghui的博客
04-14 753
Spark报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found
spark Compression codec com.hadoop.compression.lzo.LzoCodec not found
数据技术控
11-05 6114
spark shell出现错误 Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.         at org.apache.hadoop.io.compress.CompressionCodecFactory.getCo
Spark报错 Compression codec com.hadoop.compression.lzo.LzoCodec
机缘巧合人工智障
06-16 530
解决spark环境问题
spark Compression codec com.hadoop.compression.lzo.LzoCodec not found.
Knight
06-19 2639
Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found. 在hadoop中配置了编解码器lzo，所以当使用yarn模式时，spark自身没有lzo的jar包所以无法找到！ 解决办法 配置spark-default.conf文件！ 注意 如果仍然不能找到，就将lzo的jar包放到spark的jars中 ...
hadoop-yarn.zip_The Project_com.hado_hadoop
09-24
This project contains the hadoop yarn source code along with some of my modifications, related to security features
yarn-v0.23.2.tar.gz
07-22
yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz
spark-2.1.0-bin-without-hadoop.tgz.7z
04-05
此外，还需要设置SPARK_HOME环境变量，并在启动时指定master节点，例如本地模式（`--master local[n]`）、standalone模式（`--master spark://<master_ip>:<port>`）或YARN模式（`--master yarn-client`或`--master ...
Hadoop分布式配置文件core-site.xml
最新发布
06-21
Hadoop分布式配置文件core-site.xml，用于在搭建Hadoop分布式集群时，设置集群规划所用，集群中虚拟机都需要修改该配置文件，除此之外，还需要修改其他配置文件，包括hdfs-site.xml、mapred-site.xml和yarn-site.xml...
emr+hadoop2.4+spark1.2 class not found com.hadoop.compression.lzo.LzoCodec
小刀的专栏
04-02 2637
aws 云上的 spark on yarn 模式下，hadoop集群的core-site.xml有： io.compression.codec.lzo.class com.hadoop.compression.lzo.LzoCodec spark on yarn会默认使用集群的编码方式，但是相关的jar包不会自动的添加，需要自己配置， 在  $spark_home/conf/s
sparksql查询hive表报错：codec com.hadoop.compression.lzo.LzoCodec not found 问题探究
Interest1_wyt的博客
05-23 1342
Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec 问题探究
Spark Yarn模式下出现com.hadoop.compression.lzo.lzoCodec not found
代码写的越急，程序跑得越慢。
12-03 225
问题：因为之前hadoop集群上配了lzo，spark还没有配置 方法：在spark的spark-env.sh中配置lzo export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/module/hadoop-2.7.2/lib/native export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar ..
解决idea或在集群上运行Spark项目报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found
etastgrehyjrt的博客
04-30 2505
解决在idea或集群上运行spark程序时，出现Compression codec com.hadoop.compression.lzo.LzoCodec not found的解决方法
hadoop支持lzo完整过程
m0_54850825的博客
04-18 629
简介 部署 安装lzop native library 安装hadoop-lzo 配置hadoop环境变量 验证lzo通过hive测试 创建lzo表 导入数据 索引LZO文件 利用hive执行mr任务 修改使用中hive表的输入输出格式 简介 启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。 安装lzo lzo并不是linux系统原生支持，所以需要下载安装软件包。这里至少需要安装3个软件包：lzo, l.
hadoop.compression.lzo.LzoCodec not found问题发现及解决
qq_47932841的博客
09-23 5038
问题描述： spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37 Exception in thread "main" java.lang.RuntimeException: Error in configuring object ......... //往下N多行 Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression
Hadoop配置lzo压缩
TomAndersen的博客
06-11 1386
前言 OS：CentOS 7 hadoop：2.7.7 lzo：lzo-2.10 Apache Maven：3.6.0 JDK：1.8.0_221 hadoop-lzo是一个围绕lzo压缩算法实现的Maven项目，基于hadoop提供的API实现了lzo压缩算法的编解码器，以及其他的一些自定义hadoop组件，本文主要演示如何编译此Git项目，并配置到hadoop集群中，实现lzo算法在集群中的使用 由于Hadoop和hadoop-lzo中目前都未集成lzo算法函数库，因此在编译hadoop-lzo项目之
Hadoop-之配置LZO压缩完整手册
shufangreal的博客
01-09 449
Hadoop-之配置LZO压缩完整手册 1 前言 HADOOP本身除了GIP、DEFLATE、BZIP2等压缩之外是不支持LZO压缩的，所以我们加入需要让HDFS支持LZO(一种可切分的压缩形式，压缩率也很低)压缩，我们需要引入Twitter的Hadoop-LZO,参考地址为：https://github.com/twitter/hadoop-lzo/ 2 hadoop-lzo的编译-构建与配置流程 2.1 环境准备 maven 下载安装，环境变量，修改阿里云镜像 gcc-c++ zlib-
[Hadoop][2017-06-27] lzo.lzocodec not found
qdylan的专栏
06-27 1317
在编译 Demo 时报错  hadoop jar WordCount.jar WordCount /input /output  注意：/input /output    ／表示绝对路径， 不加为相对路径  此问题， 解决知道 hadoop-lzo-0.4.20-SNAPSHOT.jar   此文件， 需要放入hadoop所有节点上， NameNode & DataNode
spark-submit --master yarn predict.py
04-28
- `--master yarn`：指定 Spark 应用程序的主节点为 YARN（Hadoop的资源管理器）。 - `predict.py`：要提交的 Python 脚本文件名。 该命令将启动一个 Spark 应用程序，该应用程序将执行 `predict.py` 中的代码。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值