Ambari Spark 集成 Hive 失败。spark sql创建的表hive看不到，hive创建的表 spark看不到

最新推荐文章于 2023-04-26 08:52:13 发布
最新推荐文章于 2023-04-26 08:52:13 发布
阅读量909 收藏 3
点赞数 2
分类专栏： Ambari 文章标签： spark hive ambari
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lbg_007/article/details/107078264
版权

现象：

Ambari 安装了 Spark 和 hive ，但集成未成功。spark sql创建的表hive看不到，hive创建的表 spark看不到

解决：

  1. 登录 Ambari 界面，到 Spark 组件修改配置。
    1）Advanced spark2-defaults 的 spark.sql.warehouse.dir 值/apps/spark/warehouse 改为 /warehouse/tablespace/managed/hive
    (其实就是 hive 的 Hive Metastore Warehouse directory 的值，可去 hive 组件那里找到该值。)
  2. 2）Advanced spark2-hive-site-override 的 metastore.catalog.default 值 spark 改为 hive
  3. 到 hive 组件修改配置。
    hive.strict.managed.tables 的 true 改为 false 
    （有两个 hive.strict.managed.tables）

 

rookie_bigdata
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark和Hive统计结构不一样的问题解决
joomlaer的专栏
10-22 633
问题： select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 用Hive可以读取。 但是用spark-sql读取没有结果。 并且读取另外的分区， select * from dws.dws_examplewhere dt = '2021-10-19' limit 10; 都能读取到记录。 解决思路： 到hive里show create table 得到结果: | 'orc.compress'='S...
Ambari Spark 集成Hive
qq_39937778的博客
09-09 1917
Ambari、Spark、Hive、ES Ambari中Spark与Hive的集成
HDP3.1中spark2.3无法读取Hive3.0数据
08-20 3470
通过Ambari2.7安装好HDP3.1后，发现在spark-sql中无法读到hive命令行创建的数据库和表。 后来查了网上资料，发现hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据。 然后修改了hive-site.xml配置文件里的相关配置项： hive.strict.managed.ta...
spark2.3.2配置外置hive
qq_42326585的博客
04-15 257
HDP3，spark2.3.2配置外置hive spark中有内置的hive，如果要使用外置的hive就需要进行配置： 将/hive/conf中将hive-site.xml拷贝到spark conf/目录下。 将mysql驱动拷贝到spark jar/目录下 将hdfs下的core-site.xml和hdfs-site.xml拷贝到spark conf/目录下 修改配置： 登录 Ambari 界面，到 Spark 组件修改配置。 1）Advanced spark2-
Spark写入非分区表Hive无法读取的问题
欲望以提升热忱 毅力以磨平高山
10-31 695
问题描述： Spark2.4写入的非分区表无法使用Hive2.1.1版本的引擎去读取，报错：`Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException: 6` 原因分析： 一、非分区表测试 --1. 新建测试表 create table tmp.orc(id int, name string) stored as orc; --2.sparksql写入 insert into table t
spark sql读取不到orc格式hive表数据问题
03-04 7549
1、问题 在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况 排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件 参考文章： https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html https://bl
spark-sql建表语句限制_Spark SQL不允许我创建表，抱怨默认Metastore目录
weixin_39609670的博客
12-19 183
Installed Spark 1.5 spark-1.5.0-bin-hadoop2.6 on my local machine.Ran $ ./bin/spark-shellTried, following the doc to create a table, getting this:> SQL context available as sqlContext.>> sca...
oracle和spark的错误对照,Spark错误:在数据库“default”中找不到“users”表或视图;...
weixin_31586247的博客
04-14 151
你使用的API是错误的地点:-val spark = SparkSession.builder().master("local").appName("SQL- Transformations").getOrCreate()然后使用这个spark对象读取或写入想要:-阅读以下表格代码:-val jdbcDF = spark.read.format("jdbc").option("url", "jdb...
Spark-Hdp Ambari集成Hive配置
qq_42828748的博客
04-26 568
AmbariHdpHiveSparkHdp、Spark、Hive 在安装OK后 1. Hive各层的库要建好 Hive各层要建好后，才会在Hdfs生成相关各层的目录，后面配置Spark访问Hive的目录，要保证这个目录存在包装xx/managed/hive目录存在 1.修改spark配置： Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置：/us
Ambari下Hive3.0升级到Hive4.0
03-25
Ambari下Hive3.0升级到Hive4.0，验证自测；
Flink+SQL集成Ambari,实现Mongo到Hive的数据同步.doc
最新发布
03-06
Flink+SQL集成Ambari,实现Mongo到Hive的数据同步
ambari安装文档
03-14
基于ambari进行Hadoop大数据平台安装，详细描述了安装过程以及所需资源，包括相关配置，有需要的朋友可以下载
价值上万的视频教程互联网程序开发+大数据+Hadoop、hive、Spark
06-08
lg大数据高薪训练营 HBase、 Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 ...Spark SQL · SparkSQL · DataFrame · DataSet · 自定义
hadoop:Hadoop，HDFS，MapReduce，Pig Latin，Hive，Spark，Storm
05-04
Hadoop Hadoop，HDFS，MapReduce，Pig Latin，Hive，Spark，Storm 安巴里 Apache Ambari是一个用于配置，管理和监视Apache Hadoop集群的操作框架。 色调
大数据 Ambari Yarn 告警: The HBase application reported a STARTED state in xxxxs 解决
Lbg_007的博客
06-01 3706
现象： Ats-hbase 作为 yarn 的一个服务已正常起来。但一直存在告警The HBase application reported a 'STARTED' state in 1.773s 原因： 未知 解决： 1，su - yarn-ats 2，yarn app -destroy ats-hbase 3，hadoop fs -rm -R /user/yarn-ats/3.1.4.0-315/* （备注：把 3.1.4.0-315 换成自己环境的版本，通过 hadoop fs...
Ambari Yarn ResourceManager 无法停止及启动
Lbg_007的博客
03-19 1141
现象： 通过 Ambari 安装了 Yarn HA，一段时间后，Ambari报连接不上其中一个服务器的 ResourceManager 警告。 去该服务器上看，没有相关的 ResourceManager 进程。在Ambari界面重启，在停止阶段失败。直接启动也失败。 在该服务器通过命令yarn-daemon.sh start resourcemanager 启动后，警告消失。 但通过这种方法启动的 ResourceManager 跟在Ambari界面启动的不一样，导致Ambari接管有些问题：Ya.
Ambari 两个 NameNode 都为 standby
Lbg_007的博客
06-18 921
问题： NameNode move 失败后，出现两个 standby Namenode，无 active namenode。日志报错 Cannot find any valid remote NN to service request! 解决： 1，通过 ambari 界面关闭所有服务 2，登录两个 standby namenode 所在的节点并执行hdfs zkfc -formatZK （选 Y） 3，通过 ambari 界面启动 zkfc 及 namenode ，这个时候就有一个 ac.
Ambari 切换 mysql 数据库
Lbg_007的博客
06-15 779
现状： Ambari 搭建好了，但存元数据的 mysql 存在单点问题。 解决： Ambari 改为指向 mysql 集群。 步骤： 1，搭建 mysql 集群。https://blog.csdn.net/Lbg_007/article/details/106709353 2，迁移 mysql 数据库。 在 web 界面停止 ambari 管理的所有组件服务 登录 ambari server 所在服务器。停止 ambari server ambari-server stop 导出原 m.
ambari配hive on spark
08-06
Ami是一个用于管理Hadoop集群的工具，而Hive on Spark是一种将Hive与Spark结合使用的方式。要在Ambari中配置Hive on Spark，您可以按照以下步骤进行操作： 1. 在Ambari管理界面上，找到你的Hadoop集群。 2. 导航到Hive on Spark的配置页面。 3. 找到配置项"spark.sql.warehouse.dir"，将其值修改为Hive数据存储的HDFS位置，例如"/user/hive/warehouse" [2。 4. 保存更改并重新启动Hive on Spark服务。 完成上述步骤后，您的Hive on Spark就配置好了并连接到了指定的Hive元数据。您可以使用Spark的SQL接口进行查询操作，例如使用`spark.sql("select count(*) from dwd_tbl_ec_document where dt='2020-10-01'").show`来查询特定日期的数据量，或者使用`spark.sql("show databases").show`来查看连接的外部Hive元数据中的数据库列表。这样，您就可以在Ambari中成功配置和使用Hive on Spark了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值