用spark-shell操作hive时只能连接到default数据库

最新推荐文章于 2023-12-03 08:47:09 发布
最新推荐文章于 2023-12-03 08:47:09 发布
阅读量2.2k 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiong429323/article/details/103700071
版权

**

Spark Sql在idea上打jar包，用spark-shell操作hive，只能连接default数据库，无法连接自己建的hive数据库

**
在这里插入图片描述
创建的sparksession后面跟的配置参数不要乱写，甚至有些配置参数可以不写，具体的配置参数可以到网上查看

qiong429323
关注
spark-sql只显示默认数据库default问题
IT生活
10-18 4763
通过命令行在 hive 命令，在命令行 show databases; 显示初了default 库之外数据库（正常） 当是在spark 安装目录下bin 启动 spark-sql 只是显示default ； 查看好多配置配置文件，最后是 hive的配置文件hive-site.xml 没有复制到 spark安装conf目录下; 复制后正常显示; spark-sql> show d...
关于使用zeppelin连接hive不能切换数据库或者只能使用默认数据库deafult的问题
我玩的很开心的博客
07-15 832
问题：使用zeppelin连接hive时，hive能正常使用，但是指定使用某个数据库时， use 数据库名 并不报错，但是查询该数据库下所有表时： show tables 不显示或者显示在hive默认的数据库default下创建的表，那怎么才能切换到其他数据库呢？ 首先介绍解决办法： 关于zepeelin搭建hive集成环境的设置之前已描述过，请参考：https://blog.csdn.net/and52696686/article/details/107294726 正确设置下zeppelin 连接
解决Spark读取Hive的数据库，只能读取到default
weixin_46408961的博客
03-25 4453
​ 问题原因：按照网上的诸多博客等想使用Spark直接读取Hive，但不使用Hivejdbc的方式，在导入两个xml之后只能读取到default这个数据库，按照诸多网上的教程，修改xml还是未能起到作用(hive不能称为一个数据库，只是习惯了，下次一定改) 01.文件拷贝 ​ 上传core-site.xml,hive-site.xml到spark/conf目录下，core-site.xml在Hadoop种，hive-site.xml在hive中 (base) [root@192 conf]# ls -al
hive命令行有些服务器只能看到default:
qq_35952353的博客
07-22 1569
CDH的节点执行hive命令，有些节点只能看到default库 [root@wjltony ~]# hive Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning...
spark sql读取hive底层_Spark-SQL读不到Hive数据库的新坑指北
weixin_35215225的博客
12-30 2916
背景本文讲的是spark-sql这个命令行工具读取hive数据的情况：Spark是2.3.1，HDP发行版Hive是3.1.0，HDPSparkSQL和Hive3的交互问题，用Sparksql读取处理hive中已存在的表数据但读取不到hive的database顺便，SparkSQL读取不了hive内部表，可以读hive外表的数据，文末有解决方案刚开始熟悉Spark与hive3.x的交互，搜索了一番...
zepelin中使用sparksql连接hive出现的问题
lucklydog123的博客
12-10 332
关于在zepelin中使用sparksql连接hive，只能查询到default数据库，由于我的spark已经整合好了hive，最后找到其原因，发现是有一个spark集群的节点，没有配好hive，将hive的hive-site.xml文件放到此节点的conf目录下，将jdbc的连接驱动放到此节点的jars目录下，重启zepelin，测试hive连接，发现可以查询到hive数据中的内容。 关于spark整合hive可以参考我的上篇博文： https://blog.csdn.net/lucklydog123/a
sparkshell 操作hive表_Spark-shell和Spark-hive的使用
weixin_36198509的博客
02-22 1313
使用命令开启一个spark-shell：./spark-shell --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar因为我们要操作hive，因此需要添加mysql的driver类。查看表使用命令spark.sql("show tables").show 查看表数据 比较spark-shell...
sparkshell 操作hive表_Spark记录-Spark-Shell客户端操作读取Hive数据(示例代码)
weixin_39633781的博客
01-14 1153
1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下2.开启hive元数据服务：hive --service metastore3.开启hadoop服务：sh $HADOOP_HOME/sbin/start-all.sh4.开启spark服务：sh $SPARK_HOME/sbin/start-al...
通过shell访问hive_Spark入门：连接Hive读写数据（DataFrame）
weixin_39528697的博客
12-18 663
【版权声明】博客内容由厦门大学数据库实验室拥有版权，未经允许，请勿转载！[返回Spark教程首页]Hive是基于Hadoop的数据仓库(要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南)。本节内容介绍Spark如何连接Hive并读写数据。一、让Spark包含Hive支持为了让Spark能够访问Hive，必须为Spark添加Hi...
1.8.5 大数据-Spark-SparkSql与Hive集成（spark-shell/spark-sql/beeline）
赤山岛
09-20 270
一、需要配置的项目 1.拷贝hive的配置文件hive-site.xml到spark的conf目录 记得检查hive-site.xml中metastore的url的 配置 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata-pro01.kfk.com/metastore?createDatabaseIfNotExist=true</v
IDEA中使用Spark SQL远程连接Hive
ImezZ
08-30 3709
记录一下spark sql远程连接hive，进行sql操作的过程。 1、把远程端的hive-site.xml文件放在idea的resources目录下 注意这里要改成远程要访问的ip地址 2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysql crt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包 如果没有mysql驱动包会报这样的错误： java.lang.Runti
IDEA中Spark连接外置hive详细步骤
weixin_36040866的博客
05-04 5649
环境要求： 虚拟机上hadoop集群hdfs开启 虚拟机配置hive，且hive配置metastore到mysql windows中配置hadoop环境，且IDEA中sparksql内部可运行 虚拟机防火墙关闭 网上很多帖子的操作步骤过于繁琐，现总结如下： 1.向pom.xml中导入maven依赖（mysql驱动、hive依赖，spark-on-hive依赖） <dependency> <groupId>mysql</g..
oracle和spark的错误对照,Spark错误:在数据库“default”中找不到“users”表或视图;...
weixin_31586247的博客
04-14 208
你使用的API是错误的地点:-val spark = SparkSession.builder().master("local").appName("SQL- Transformations").getOrCreate()然后使用这个spark对象读取或写入想要:-阅读以下表格代码:-val jdbcDF = spark.read.format("jdbc").option("url", "jdb...
安装Spark3之后Spark-SQL读不到之前安装好的Hive 数据库
qq_39841823的博客
01-14 1205
安装Spark3之后Spark-SQL读不到之前安装好的Hive 数据库前言一、问题？二、解决方案方法1.引入hive-site.xml方法2.很多步骤 ><1.增加CDH环境配置2.增加spark配置2.1 spark-defaults.conf2.2 spark-env.sh2.3 log4j.properties2.4 分发 spark软件包2.5 执行spark-sql 前言 因为之前已经 安装过CDH 其中版本为 hive 2.1.1与spark 2.2.0 , 再另外安装Spa..
spark操作hive（可解决绝大部分的问题）、sparksql操作hive
热门推荐
LaZY的博客
07-07 2万+
目标： 想要完成使用spark在windows的idea下操作hive（对hive中的表查询等） 最终代码（java）： import org.apache.spark.sql.SparkSession; import java.io.Serializable; /** * Created by Administrator on 2017/4/3. */ public class SQLH...
Spark SQL连接Hive的一些常见报错
wufabao的博客
02-05 1万+
错误一：Unable to locate hive jars to connect to metastore. Please set spark.sql.hive.metastore.jars. 解决方案：将JDK11切换为JDK8，问题解决。JDK11和Spark/Hive应该存在版本兼容性问题 错误二：连接成功后只显示一个default数据库 解决方案：把HIVE_HOME/conf目录下的hive-site.xml文件拷贝到本地IDEA的maven项目的resources目录下 完美解决
Spark大数据集群日常开发过程遇到的异常及解决思路汇总
最新发布
朱季谦
12-03 1302
Spark大数据集群日常开发过程遇到的异常及解决思路汇总
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值