IDEA中使用Spark SQL远程连接Hive

最新推荐文章于 2023-08-11 14:44:23 发布
最新推荐文章于 2023-08-11 14:44:23 发布
阅读量3.5k 收藏 24
点赞数 4
分类专栏： Spark 文章标签： hive idea spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36249352/article/details/120005002
版权
本文详细介绍了如何在IntelliJ IDEA中使用Spark SQL连接并操作远程Hive，包括将`hive-site.xml`放入resources目录，引入MySQL驱动，配置Hadoop环境，设置winutils.exe和hadoop.dll，以及确保远程用户具备连接权限。最后通过编写并运行测试程序验证配置成功。
摘要由CSDN通过智能技术生成

记录一下spark sql远程连接hive，进行sql操作的过程。

1、把远程端的hive-site.xml文件放在idea的resources目录下

注意这里要改成远程要访问的ip地址

2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysql

crt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包

如果没有mysql驱动包会报这样的错误：

java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;

最低0.47元/天 解锁文章
IMezZ
关注
专栏目录
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1262
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
IDEA实现Spark连接Hive
wannaffly的博客
03-28 533
1.拷贝hive-site.xml文件到classpath下 2.增加对应的依赖关系（包含MYSQL的驱动） <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency> <de.
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7 PATH 里添加%HADOOP_HOME%\s
IDEA 中使用 SparkSQL 远程连接 Hive
JIE的博客 --- moon_coder
12-01 2487
我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，你可以使用和集群一样的包，然后将压缩包解压到你想要存放的地方。变量，双击进入，然后新建两个 PATH，以指定 Hadoop 脚本路径。及其以下的版本，如果比这个版本高的可以去官网下载依赖文件。如果你使用的集群在华为云或者阿里云上，你需要先配置好集群的。注意，我在上面这个下载链接里放的依赖文件只支持。其次就是你要对你的端口进行放行，配置安全规则。进入集群中的 MySQL，授予权限。
在inteillj idea中使用Spark操作Hive
北桥苏的博客
05-06 1066
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 点击File, 选择Settings，再选择Plugins搜索Big Data Tools，最后下载安装。 2. 下载完毕后，底部和右侧栏会多出Hadoop或Big Data ...
windows系统下在idea中用spark访问远程hive
u013982921的专栏
09-02 1229
NO&nbsp;步骤1安装配置jdk1.82安装配置scala2.11.183&nbsp;写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils....
idea中使用spark sql远程连接hive
06-28
在IDEA中使用Spark SQL远程连接Hive，需要进行以下步骤： 1. 首先，需要在IDEA中添加Hive的JDBC驱动，可以通过Maven或手动添加方式进行。 2. 在代码中创建SparkSession对象，并设置Hive的元数据存储位置和Hive的...
IDEA中使用Spark SQL 连接Hive
热门推荐
炼剑
04-15 2万+
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的，Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序，在IDEA中连接Hive有些需要注意的地方，这里记录一下，折腾了一下午。1. 复制hive-site.xml将Spar
本地IDEA中创建maven项目、spark程序远程访问hive
最新发布
weixin_60492640的博客
08-11 586
spark程序远程访问hive Access denied for user 'root'@'localhost' (using password: YES) 或者无法连接数据库 mysql数据库安装不能远程登陆的，只能在本地用localhost 或者127.0.0.1登录访问，如果需要远程登录，则需要修改mysql root
IDEA中Spark连接外置hive详细步骤
weixin_36040866的博客
05-04 5346
环境要求： 虚拟机上hadoop集群hdfs开启 虚拟机配置hive，且hive配置metastore到mysql windows中配置hadoop环境，且IDEA中sparksql内部可运行 虚拟机防火墙关闭 网上很多帖子的操作步骤过于繁琐，现总结如下： 1.向pom.xml中导入maven依赖（mysql驱动、hive依赖，spark-on-hive依赖） <dependency> <groupId>mysql</g..
Window使用idea操作spark连接hive
qq_42263866的博客
11-27 1546
首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。   平台环境：hadoop 2.6.0-CDH5.7  Hive 1.1.0  Spark 1.6.0  Scala 2.11.5 项目环境：jdk 1.8  scala2.11.0 1.创建新工程 1.创建一个maven工程，不做赘述。 工程目录结构如下： 2.配置环境 1.左上角File -&g...
idea中Spark操作Hive
m0_63086929的博客
11-09 1309
idea中Spark操作Hive
在 idea上用编写spark程序链接hive
weixin_52803142的博客
12-04 1019
在 idea上用编写spark程序链接hive 在idea 上编写spark程序，pom文件上要包含hive依赖,网上大把，链接hive其实可以不用将hdfs,core等文件加入程序，直接在代码中声明 metastore服务的地址，和 hive在hdfs上的储存路径 def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("kks") val spark =
windows下IDEA使用spark连接hive
katyusha1的博客
05-13 874
1、前言  由于需要在本地环境连接测试集群相关的一些数据，传统方式需要先打jar包，然后再放在集群上使用spark-submit，这样非常麻烦，所以在网上找了下开发环境使用sparksql连接hive的方法，经过许久的折腾，总算弄成功了，特此记录一下。 2、准备  A、配置文件 把集群上的hadoop etc/hadoop目录下的core-site.xml hdfs-site.xml （读取hdfs上的文件必须） hive的配置文件 hive-site.xml（读取hive必须）拷贝到resource
Spark——IntelliJ IDEA中Spark应用程序连接远程Hadoop集群读写Hive表数据(Scala/Python)
aof
07-03 5928
很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作 (打jar包——>上传集群——>spark-submit) 这些步骤时，我们就可以在本地直连Hive，直接run你的Spark应用程序中的main函数即可。代码如下(版本为Spark2.0+)：   Scala版本 import org.apache.spark.sql.SparkSess...
Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作
雷神乐乐的博客
04-06 3766
Spark on Hive&Spark on Mysql
如何使用idea进行spark编程，访问hive？
qq_43368947的博客
06-28 448
准备工作： (1)需要将 hive-site.xml 放到 resources 目录下 示意图演示 将 hive-site.xml 下载到桌面，然后将其拉进idea里面的 resources 目录下 (2)修改 hive-site.xml 文件，把 localhost 修改成ip地址或者是机器域名 示意图演示 (3)本机 hosts 文件中配置 ip 域名映射 (4)添加依赖 示意图演示 以上步骤全部都准备完成后，开始编写spark代码 package day0628 import org.apa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值