如何使用idea进行spark编程，访问hive？

最新推荐文章于 2024-08-04 00:33:27 发布
最新推荐文章于 2024-08-04 00:33:27 发布
阅读量445 收藏 5
点赞数
分类专栏： SPARK IDEA 文章标签： spark hive idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43368947/article/details/118307718
版权

准备工作：

(1)需要将 hive-site.xml 放到 resources 目录下

示意图演示
在这里插入图片描述
将 hive-site.xml 下载到桌面，然后将其拉进idea里面的 resources 目录下
在这里插入图片描述
(2)修改 hive-site.xml 文件，把 localhost 修改成ip地址或者是机器域名

示意图演示
在这里插入图片描述
(3)本机 hosts 文件中配置 ip 域名映射

(4)添加依赖

示意图演示
在这里插入图片描述
以上步骤全部都准备完成后，开始编写spark代码

package day0628

import org.apache.spark
最低0.47元/天 解锁文章
乔诺『布菲』
关注
专栏目录
IDEA中使用Spark SQL远程连接Hive
ImezZ
08-30 3544
记录一下spark sql远程连接hive，进行sql操作的过程。 1、把远程端的hive-site.xml文件放在idea的resources目录下 注意这里要改成远程要访问的ip地址 2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysql crt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包 如果没有mysql驱动包会报这样的错误： java.lang.Runti
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改hadoop etc/hadoop中的 hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径 3、配置hadoop的环境变量 HADOOP_HOME D:\modules\hadoop-2.7.7 PATH 里添加%HADOOP_HOME%\s
Spark连接访问Hive数据
最新发布
2401_82567159的博客
08-04 569
Spark访问Hive数据
windows系统下在idea中用spark访问远程hive
u013982921的专栏
09-02 1221
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils....
在inteillj idea中使用Spark操作Hive
北桥苏的博客
05-06 1058
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 点击File, 选择Settings，再选择Plugins搜索Big Data Tools，最后下载安装。 2. 下载完毕后，底部和右侧栏会多出Hadoop或Big Data ...
IDEA中Spark读写Hive测试
背离赤道、逆光而行
03-18 1428
1.将集群上的hive-site.xml文件拷贝到maven工程的resource目录下 并新增下面代码即可 <property> <name>hive.metastore.uris</name> <value>thrift://hadoop000:9083</value> </property> 参...
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
07-31
2. **读取Hive表**：使用Spark SQL的`spark.read.format("hive").load()`语句加载Hive表，这将返回一个DataFrame。 3. **处理和转换数据**：根据需求，可能需要对DataFrame进行一系列操作，如数据清洗、转换、聚合...
spark sql读取hive底层_sparkSQL原理和使用——一般在生产中，基本都是使用hive做数据仓库存储数据，然后用spark从hive读取数据进行处理...
weixin_39780784的博客
12-20 846
1.1 什么是spark SQL​ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。1.2 spark SQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件(一种列式存储文件，是SparkS...
IDEA中使用Spark SQL 连接Hive
热门推荐
炼剑
04-15 2万+
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的，Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序，在IDEA中连接Hive有些需要注意的地方，这里记录一下，折腾了一下午。1. 复制hive-site.xml将Spar
IDEA 中使用 SparkSQL 远程连接 Hive
JIE的博客 --- moon_coder
12-01 2477
我们在 Windows 电脑中安装 Hadoop，并配置环境变量。注意，Hadoop 的版本必须和集群中的对应，你可以使用和集群一样的包，然后将压缩包解压到你想要存放的地方。变量，双击进入，然后新建两个 PATH，以指定 Hadoop 脚本路径。及其以下的版本，如果比这个版本高的可以去官网下载依赖文件。如果你使用的集群在华为云或者阿里云上，你需要先配置好集群的。注意，我在上面这个下载链接里放的依赖文件只支持。其次就是你要对你的端口进行放行，配置安全规则。进入集群中的 MySQL，授予权限。
IDEA实现Spark连接Hive
wannaffly的博客
03-28 521
1.拷贝hive-site.xml文件到classpath下 2.增加对应的依赖关系（包含MYSQL的驱动） <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency> <de.
Spark——IntelliJ IDEA中Spark应用程序连接远程Hadoop集群读写Hive表数据(Scala/Python)
aof
07-03 5921
很多时候，我们在编写好Spark应用程序之后，想要读取Hive表测试一下，但又不想操作 (打jar包——>上传集群——>spark-submit) 这些步骤时，我们就可以在本地直连Hive，直接run你的Spark应用程序中的main函数即可。代码如下(版本为Spark2.0+)：   Scala版本 import org.apache.spark.sql.SparkSess...
spark3.x on hive3.x idea配置和相关坑
weixin_44513718的博客
05-31 881
一：spark on hive 的两种方式 1，通过jdbc的方式连接hiveserver2的方式来读取数据 两种方式虽然都可以，但是第一中相对比较事多，我用的spark3.0.0里面，没有针对hive的dialect,我们自己需要根据源码实现一个 ，然后注册进去。基于jdbc的读取代码如下 ： //利用jdbc方式+hive2方式读取hive数据(spark on hive报错，改用这个方式) def readDfdatafromHive(db: String, tablename: Stri
Spark整合Hive(IDEA远程连接集群运行)
weixin_44005485的博客
03-26 773
一. 前置准备 1.1 下载windows环境所需的hadoop-common-2.2.0-bin-master插件 下载地址 1.2 确保远程的hadoop集群已启动 二. 代码实现 2.1 引入spark整合hive的依赖 2.1 拷贝集群中hive-site.xml文件到IDEA的resource目录下 2.2 拷贝集群中hive-site.xml文件到IDEA的resour...
idea编写spark连接hive
念念的博客,记录学习的点点滴滴！
02-27 1499
idea下编码,测试连接hive,代码如下: package com.ws.spark import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} object RangeTest { ...
idea连接hive
m0_57642693的博客
03-26 1363
在hadoop平台写hive命令容易出错，但在idea中写hive命令可以提示代码，代码写错还可以提示错误，所以选择在idea中写hive命令。1.在idea中构建一个maven项目，引入相关依赖，并且相关依赖版本号与hive，hadoop的版本号一致。实验环境hadoop2.8.3 hive2.1.1 idea2019。需要导入的jar包可以在hadoop平台中hadoop软件和hive软件中找到。3.使用idea中的Database工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值