spark-sql客户端连接不上hive

最新推荐文章于 2023-08-21 17:42:52 发布
最新推荐文章于 2023-08-21 17:42:52 发布
阅读量297 收藏
点赞数
分类专栏： Spark 文章标签： hive spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwxdsj/article/details/129071367
版权

原因缺少hive配置文件

cp /opt/module/hive-3.1.2/conf/hive-site.xml ./conf

cp mysql-connector-java-5.1.37.jar /opt/module/spark-yarn/jars/

复制hive配置文件以及存储元数据的mysql jar包即可

参考：https://blog.csdn.net/m0_73734232/article/details/128273959

小五冲冲冲
关注
专栏目录
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 3023
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
spark连接hive
YK_LaNce的博客
07-16 279
spark从hive表读数据并在mysql显示 1. 配置文件 先将hive/conf下的hive-site.xml复制到spark/conf下 对照下面的hive-site.xml修改 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="c...
spark链接hive错误
m0_45993982的博客
06-30 464
错误代码 Exception in thread "main" org.apache.spark.sql.streaming.StreamingQueryException: Cannot create hive connection jdbc:hive2://master:10000/ === Streaming Query === Identifier: [id = 66ecc70a-bbdf-45f1-8362-b0c2e0d2bbf6, runId = d6878eb7-70c0-4d89-ab26
spark连接不了本地hive_SparkSQL数据源之Hive数据库
weixin_30590615的博客
01-25 780
Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引入Hi...
一次关于 CDH 中 Spark SQL代码操作Hive无法连接Hive元数据问题
weixin_38073361的博客
10-29 1327
如题，最近想用 Spark SQL 操作数据 写入 Hive ，本地测试逻辑OK，发布线上发现连接不上Hive元数据，各种修改，头痛。终于发现问题，记录一下方便后来人。 关于版本： CDH --> 5.16.1 Hive -->1.1.0 Spark --> 2.3.0 Scala --> 2.11.6 版本不对应也可以参考，毕竟问题出现的，和版本关系不太大～ 废话不多，首先是具体报错信息 情况如下: Spark 打包运行过程中，并无明显报错，但是有一个现象就是运行状态由 .
Spark 连接Hive 表格失败
一杯派蒙的博客
06-11 2337
spark 连接hive 在Windows本地跑不动，报错如下。 只需要把jar 运行的jar 包打包，放到linux 上即可。 2018-06-11 08:56:50,734 : WARN : Hive : &lt;clinit&gt; : Failed to access metastore. This class should not accessed in runtime. org....
Spark SQL连接Hive的一些常见报错
热门推荐
wufabao的博客
02-05 1万+
错误一：Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars. 解决方案：将JDK11切换为JDK8，问题解决。JDK11和Spark/Hive应该存在版本兼容性问题 错误二：连接成功后只显示一个default数据库 解决方案：把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下 完美解决
Spark-SQL连接Hive 的五种方法
weixin_54064771的博客
12-08 637
因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关语句。Spark Thrift Server 的目的也只是取代 HiveServer2，因此它依旧可以和 Hive Metastore进行交互，获取到 hive 的元数据。如果使用 Spark 内嵌的 Hive, 则什么都不用做, 直接使用即可。
sparkshell 操作hive表_Spark记录-Spark-Shell客户端操作读取Hive数据(示例代码)
weixin_39633781的博客
01-14 1116
1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下2.开启hive元数据服务：hive --service metastore3.开启hadoop服务：sh $HADOOP_HOME/sbin/start-all.sh4.开启spark服务：sh $SPARK_HOME/sbin/start-al...
spark-shell与spark-sql的访问hive
H_hanwen的博客
11-22 2546
1.spark-shell的使用： 安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....
spark程序连接hive后导致hive的shell连接不上
mrye的博客
09-10 501
出现原因： 本地写spark代码操作hive，配置文件中直接连接的mysql元数据服务，连接后导致hive的shell端连接不上。 排查后发现hive的元数据中VERSION表被spark连接改动了，重新修改后才能在shell端连接 hiveserver2 -hiveconfig hive.root.logger=DEBUG,console 解决： hive-stite文件加上这个配置，通过metastore去连接元数据服务，是因为spark内置的hive版本和元数据服务的hive版本不一致导
关于sparksql无法对hive表查询或插入的问题
kaku1230的博客
03-06 1067
sparksql处理hive
sparkSQL连接hive失败案例和解决办法
qq_46183404的博客
10-05 3106
sparkSQL连接hive失败案例和解决办法
Spark-SQL连接Hive
Aricya的博客
12-08 1026
Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好还是在编译 Spark SQL 时引入 Hive支持，这样就可以使用这些特性了。
spark sql 通过代码连接hive
qq_34135615的博客
03-04 1620
spark sql代码方式连接hive
Hive on spark 配置 & 踩坑记录 Failed to create spark client
Brother_ning的博客
11-23 1685
-Hive查询时，报错java.lang.OutOfMemoryError: Java heap space-这种情况属于 JVM 堆内存溢出了，在y arn-site.xml 文件中添加如下代码-->编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。注意：hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms。
本地Spark连接Hive异常问题
狂奔的蜗牛
07-08 7056
环境：idea spark2.2 hive1.1 maven3 场景：本地运行Spark代码，连接Hive集群查询数据： 本地设置了SPARK_HOME、SCALA_HOME 将hive-site.xml复制到本地的%SPARK_HOME%/conf/路径下 代码如下： def main(args: Array[String]): Unit = { val wareho...
Spark整合Hive&Hive从节点启动失败问题解决
最新发布
qq_33186644的博客
08-21 195
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissiThe root scratch dir: /tmp/hive on HDFS should be writable. Current permissi
Spark-sql 连接hive中遇到的问题
nuobuye19950728的博客
11-10 3432
在使用spark-sql的时候发现，可以连接上hive并可以使用show tables的语句查询到表，但是后来尝试发现没法做其他更多的操作， 通过log信息发现，是metadata无法连接的问题，联想到前天在配置spark连接hive的时候见过一个启动metadata的命令 ./hive --service metadata & 于是猜想是因为没有把这个服务给启动，于是spark-sql虽
sparkshell 操作hive表_Spark记录-Spark-Shell客户端操作读取Hive数据
06-06
可以使用Spark Shell客户端操作读取Hive数据。以下是一些常用的操作： 1. 启动Spark Shell 在终端中输入以下命令启动Spark Shell： ``` $ spark-shell --master yarn --deploy-mode client ``` 2. 导入Spark SQL和Hive支持 在Spark Shell中输入以下命令导入Spark SQL和Hive支持： ``` scala> import org.apache.spark.sql.hive.HiveContext scala> val hiveContext = new HiveContext(sc) ``` 3. 查询Hive表 在Spark Shell中输入以下命令查询Hive表： ``` scala> val df = hiveContext.sql("SELECT * FROM <database>.<table>") scala> df.show() ``` 其中，<database>和<table>分别是Hive表所在的数据库和表名。 4. 将Hive表转换为Spark DataFrame 在Spark Shell中输入以下命令将Hive表转换为Spark DataFrame： ``` scala> val df = hiveContext.table("<database>.<table>") scala> df.show() ``` 5. 保存DataFrame到Hive表 在Spark Shell中输入以下命令将DataFrame保存到Hive表： ``` scala> df.write.mode("overwrite").saveAsTable("<database>.<table>") ``` 其中，mode("overwrite")表示如果Hive表已经存在，则覆盖原有表，saveAsTable("<database>.<table>")表示将数据保存到指定的Hive表中。 希望这些操作可以帮助您在Spark Shell中操作Hive表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值