HDP3.0.1集群适配spark程序异常处理

最新推荐文章于 2022-03-11 21:53:12 发布
最新推荐文章于 2022-03-11 21:53:12 发布
阅读量905 收藏 1
点赞数 1
分类专栏： bigdata 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lpacino/article/details/113586543
版权
在升级到HDP3.0.1集群后，遇到包括Hive支持创建Hive表异常、不支持MR执行引擎异常和HftpFileSystem访问异常等问题。针对这些问题，分别通过设置spark.sql.catalogImplementation=hive、替换hive-site.xml配置文件以及更新组件版本来解决。确保Spark程序在新集群环境中正常运行。
摘要由CSDN通过智能技术生成

新集群环境

1.HDP3.0.1
2.hadoop3.1.1
3.spark2.3.1
4.kafka1.1.1
5.hive3.1.0
6.未开启kerberos

背景介绍

需要使用新升级的hdp3.0.1集群，原有的程序是在HDP2.6.4上面运行，读kafka写hive，因集群升级(对应的hadoop,hive版本变动较大)，需要同步更新程序依赖的jar包版本。

异常一：Hive support is required to CREATE Hive TABLE (AS SELECT)

org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT)
在这里插入图片描述

原因分析：hive版本变动较大，由原来1.2.1升级到3.1.0.导致spark程序建hive表的时候报此异常；
解决方案：spark-submit中添加参数：

–conf spark.sql.catalogImplementation=hive

参考链接: https://stackoverflow.com/questions/50594680/hive-support-is-requ

最低0.47元/天 解锁文章
远方的眺望
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ambari+hdp+spark集群本地源搭建详细图解教程
书生的博客
07-13 3214
Ambari本地源搭建hdp+spark集群 一、   操作系统      RHEL 7 二、   本地源搭建 1.     安装apache web服务 a)       安装 选择一台节点单独作为apache web服务，并通过yum来安装； b)       自动启动和停止 启动和停止 #systemctl enable httpd.service
Ambari2.7+HDP3.0.1 Spark读取Hive数据
南山南的Python和大数据学习笔记
03-30 2084
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~ Python大数据与SQL优化笔 QQ群：771686295 下面说说Ambari2.7+HDP3.0.1 Spark读取Hive数据设置的一些坑，因为最近有人遇到和我同意的问题，所以这里记录下，希望如果有人用和我一样的大数据环境，别再踩这个坑。 Spark Shell...
ambari3.0（HDP3.0）spark2.3 无法读取hive 3.x的表数据
yeyiboy的博客
07-19 1267
一、问题描述： HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据内容，准确来说是内表的数据。 二、原因： hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据. 三、解决办法： 修改以下参数让新建的表默认不是acid表。 h...
使用 tez 执行引擎时执行 hive 启动两个 application 的解决办法
houzhizhen的专栏
11-25 2581
在 hive-site.xml, 配置执行引擎为 tez。 <property> <name>hive.execution.engine</name> <value>tez</value> <description> Expects one of [mr, tez, spark]. Chooses execution engine. Options are: mr (Map reduce,
设置hive执行引擎为Tez
破晓的成长之路
10-20 8916
我们知道hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率。 安装配置如下： 在此假设已经安装好基础hadoop、hive集群。 Tez下载解压 1、下载tez的依赖包：http://tez.apache.org 2、解压缩apache-tez-0.9.1-bin...
一劳永逸解决Hive执行insert命令调用MR任务报错问题
03-11 5803
一劳永逸_解决Hive执行insert指令集调用MapReduce任务的报错问题
ambari2.7+hdp3.0.1 spark读取hive数据
最新发布
03-16
要在ambari2.7和hdp3.0.1上使用spark读取hive数据，需要按照以下步骤操作： 1. 确保hive和spark已经安装并配置好了。 2. 在hive中创建需要读取的表，并将数据加载到表中。 3. 在spark中使用HiveContext或...
0429-如何在Redhat7.4安装HDP3.0.1
01-07
7月13日，Hortonworks在其官网宣布发布HDP3.0，相关介绍可以参考Fayson昨天的文章《Hortonworks正式发布HDP3.0》，最近又更新到了HDP3.0.1。本文档Fayson主要描述如何在Redhat7.4安装HDP3.0.1。HDP与CDH的安装步骤...
HDP集群安装.pdf
05-31
安装HDP集群干货
执行spark-submit时，一直在Application report for application_1599648117906_0005 (state: ACCEPTED)刷新，解决方案
data_curd的博客
09-09 7242
执行任务时，卡在（state:ACCEPTED）这一直不动， 20/09/09 11:15:16 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09 11:15:17 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED) 20/09/09
Hive Create table as select
hjw199089的博客
12-21 2万+
Create/Drop/Truncate Table 排查问题触发了一个Create table as 的spark bug，no 爽 create table xxx as select create table table1 as select * from table2 where 2=3; 创建一个表结构与table2表相同的table1，只复制结构不复制数据 create table...
SparkSQL操作Hive Table（enableHiveSupport()）
热门推荐
就问你吃不吃药
11-03 3万+
Spark SQL支持对Hive的读写操作。然而因为Hive有很多依赖包，所以这些依赖包没有包含在默认的Spark包里面。如果Hive依赖的包能在classpath找到，Spark将会自动加载它们。需要注意的是，这些Hive依赖包必须复制到所有的工作节点上，因为它们为了能够访问存储在Hive的数据，会调用Hive的序列化和反序列化(SerDes)包。Hive的配置文件hive-site.xml、co
Hive基本命令整理
java 学习
05-26 584
创建表： hive&gt; CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表，结构与其他一样 hive&gt; create table new_...
【spark】异常：org.apache.spark.sql.AnalysisException: resolved attribute(s)
lsr40的博客
04-08 2万+
本人菜鸟一只，天天写bug，今天又来记录一个解决了的bug！ 业务逻辑： 1、从一张行为表中，抽取有特点行为的用户 2、将这部分用户id拿到之后保存 3、然后再将这部分用户id关联回行为表，获得这部分用户的所有行为 具体代码我就不贴出来了，应该比较简单吧，就是读取行为表，过滤特定的行为，然后将这部分数据去重就得到特定行为的用户，最后把这些用户关联回行为表，就拿到了这部分特定用户的行为 ...
sparkSQL 集成hive异常问题解决
linux_ja的专栏
06-15 3629
1、报：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 是由于元数据默认到derby中找，所以提供mysql的 解决：在spar
hive 使用create table xxx as select * from xxx where创建一个新表时的问题
weixin_43873339的博客
04-20 1万+
原始表数据最后一条的month字段信息有误，由于无法删除，所以考虑新建一张表将该条数据过滤掉。 原始表信息： 一共四个字段，其中month和day为分区字段。 执行ctas命令 create table stu_partition3 as select * from stu_partition2 where month=201904; 运行结果 可见新表确实过滤掉了数据 ！！！注意新表的描述信息...
解决java使用jdbc连接hive2出现Required field 'client_protocol' is unset! Struct:TOpenSessionReq
u010379814的专栏
03-07 2万+
java.sql.SQLException: Could not establish connection to jdbc:hive2://:**** Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{use:database=***}) a
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值