CDH6.2.1 HiveOnSpark 报错问题解决

最新推荐文章于 2024-05-15 23:19:27 发布
最新推荐文章于 2024-05-15 23:19:27 发布
阅读量2.1k 收藏 5
点赞数
分类专栏： Hive on Spark 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Michael312917/article/details/109405403
版权
本文档详细记录了在CDH6.2.1环境中配置Hive on Spark时遇到的错误及解决方案，包括READ操作在standby状态不支持的MetaException、Spark任务创建失败、hiveserver2启动失败和Spark客户端创建超时等问题，提供了具体的解决步骤和注意事项。
摘要由CSDN通过智能技术生成

1 CDH6.2.1 HiveOnSpark 报错解决

cdh6.3.2配置Hive on Spark

Hive on Spark 官网

  • 错误1
    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ
最低0.47元/天 解锁文章
Michael312917
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
hcq_lxq的博客
04-12 8687
问题描述： hql语句周期性调度执行，在某个时间后经常出现如下报错 FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 报错的语句都是设置了 set hive.execution.engine=spark;参数， 原因： 发现...
启动hive时报错： org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark session
weixin_55842692的博客
12-12 2589
h启动hive时报错： Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session a2d32dbe-d48c-486f-be8b-2f5c75ffe182 日志监控： java.util.concurrent.ExecutionException: java.util.concurren.
HiveOnSpark 报错：java.lang.IllegalStateException(Connection to remote Spark driver was lost)‘ Last kno
最新发布
JIE的博客 --- moon_coder
05-15 395
这里拷贝完成了还不行，因为我们在部署 Hive On Spark 时，通常会上传一份 Spark 的。包，因为该包属于 Hive，所以需要从 Hive 中拷贝一份到 Spark 中。我在 HDFS 上存储 Spark jars 目录的路径是。修改完成后，重启 Hive 元数据服务，再次测试，问题解决。刚刚搭建完 Hive On Spark，测试时出现该错误。目录到 HDFS 上，故该包同样需要上传。，请注意将其修改成你自己的。在 Spark 中找不到。
关于hive on spark部署后insert报错Error code 30041问题
weixin_60309887的博客
01-05 2054
其中，Spark Executor内存是Spark配置中设置的executor总内存，包括堆内存和非堆内存。总内存 = Spark Executor内存 + Spark Executor的JVM堆内存 + Spark Executor的JVM非堆内存。1). 将/opt/module/spark/conf/目录下spark-env.sh.template文件改成spark-env.sh，2). 将/opt/module/hive/conf目录下hive-site.xml修改hive和spark的连接时间。
hive中执行查询的时候，出现这些问题：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.Ma
weixin_40701758的博客
12-07 1346
hive中执行查询语句的时候，出现这些错误， ERROR : Job Submission failed with exception 'java.net.ConnectException(Call From ************ failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused)
线上 hive on spark 作业执行超时问题排查案例分享
明哥的IT随笔
11-08 2902
m分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
cdh6.2.1+cm6.2.1 开源免费版本
10-20
cdh6.2.1+cm6.2.1 开源免费版本
CDH6.2.1 开源版本下载
10-20
CDH6.2.1 +CM6.2.1开源版本下载
cdh6.2.1 + cm6.2.1安装包-cdh安装包大全
09-05
在本场景中，我们讨论的是CDH6.2.1和CM6.2.1的安装包，这些安装包适用于Redhat7和Centos7及以上版本的操作系统。 1. CDH6.2.1 知识点： - **主要组件**：CDH6.2.1包含HDFS（Hadoop Distributed File System）、...
clouder-cdh-6.2.1 离线安装包
02-09
本资源包为 cdh6.2.1 redhat7 版本 # 目录结构如下 ├── cdh6 │ └── 6.2.1 │ └── parcels │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7....
CM6.2.1和CDH6.2.1资源下载
04-14
本资源包含redhat7版本的CM6.2.1和CDH6.2.1： cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm jdk-8u151-linux-x64.rpm enterprise-debuginfo-6.2.1-1426065...
Spark 连接Hive的Cloudera相关配置
狂奔的蜗牛
02-09 1738
在使用Cloudera安装好Spark和Hive后，将含有操作Hive相关表的Spark任务以yarn模式提交到集群运行时，一直报错，通过yarn logs -applicationId 命令发现无法连接Hive，在spark-submit命令后添加--files /etc/hive/conf/hive-site.xml就可以正常运行。参考了Cloudera官网的相关介绍（https://www....
一次Hudi Jar包中的HBase冲突导致的Spark任务失败
zhangs_123的博客
08-08 707
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. hbase-default.xml file seems to be for an older version of HBase (2.4.9), this version is 2.1.0-cdh6.3.1
cdh hive on spark_CDH安装错误集锦（详细解决教程）
weixin_39811150的博客
11-28 241
这里是实际项目CDH安装过程中的一部分错误，如果大家也有类似的问题，可以查阅。更多的信息可以访问itstaredu.com官网进行学习和查看。Q:java.io.IOException: the path component: '/var' is world-writable. Its permissions are 0666. Please fix this or select a differ...
CDH开启sentry后hive on spark报错： Failed to create Spark client for Spark session
qiangzi_lg的博客
04-13 2471
cdh开启sentry之后，hive on spark报错，网上的方法试了一遍都没有解决我的问题，经过一番摸索，最终解决。 报错日志： ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2b98a332-72e0-4917-9357-5c1799e4a3ae
hive on spark向数据库中插入数据的时候报错
weixin_44063328的博客
05-05 2470
问题描述 搭建了hive on spark集群，并且已有数据库，向数据库中插入数据的时候报错。 create table student(id int, name string); insert into table student values(1002,‘lisi’); hive> insert into student values(1002,'lisi'); Query ID = atguigu_20220505185820_0f520b40-7a94-4485-b5d1-3d85ec50ad
Spark3启动报错：Operation category READ is not supported in state standby
zhengzaifeidelushang的博客
11-09 652
Spark3启动报错：Operation category READ is not supported in state standby 一、查看报错原因 此时bigdata1节点HDFS处于standby状态，bigdata2节点HDFS处于active状态，这与Spark环境变量中设置的Master节点是bigdata1冲突。 解决的办法是使得bigdata1节点重新处于active状态。 [root@bigdata1 bin]# hdfs haadmin -getServiceState nn1 st
hive-on-spark常见问题说明
weixin_72993139的博客
08-10 1629
hive-on-spark问题解析
hive on spark报错:没有发现类
小北大数据
06-06 1116
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab179-b49d-4ed0-b45b-0ef1dfb3f52b)' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.
cdh6.2.1安装包
12-11
CDH 6.2.1 是 Cloudera 公司提供的一个大数据处理平台。它包含了各种组件和工具，用于存储、处理和分析大规模的数据。 要安装CDH 6.2.1，首先需要下载安装包。可以从 Cloudera 的官方网站上获得安装包，或者从其他可靠的资源下载。安装包主要包括各个组件的二进制文件、配置文件和文档。 安装CDH 6.2.1之前，需要先安装操作系统和一些依赖软件，如Java等。确保操作系统和依赖软件的版本满足CDH 6.2.1的要求。然后，使用命令行或图形界面工具解压安装包到指定目录。 解压安装包后，需要对各个组件进行配置。可以根据实际需求，修改配置文件来调整组件的行为。配置文件通常保存在安装目录下的conf目录中。在配置文件中，可以设置各组件的参数，如数据存储路径、网络端口等。 配置完成后，可以启动CDH 6.2.1的各个组件。启动命令可以在安装包的文档中找到。启动后，可以通过浏览器访问CDH 6.2.1的管理界面，进行管理和监控。在管理界面中，可以查看集群的状态、添加和删除节点等。 如果需要使用CDH 6.2.1进行数据处理和分析，可以使用提供的工具和API。CDH 6.2.1支持各种数据处理框架，如Hadoop、Spark、Hive等。用户可以根据需要选择合适的工具和API，进行数据处理和分析。 总之，安装CDH 6.2.1需要下载安装包，解压到指定目录，进行配置，启动组件，然后使用工具和API进行数据处理和分析。在安装和使用过程中，可以参考官方文档和社区资源，获得帮助和支持。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值