Spark-SQL连接Hive的五种方法

最新推荐文章于 2024-04-05 01:36:08 发布
最新推荐文章于 2024-04-05 01:36:08 发布
阅读量2k 收藏 5
点赞数 1
文章标签： hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56740631/article/details/128275062
版权

一、内嵌的Hive

若使用Spark内嵌的Hive，直接使用即可，什么都不需要做（在实际生产活动中，很少会使用这一模式）

二、外部的Hive

步骤：

  1. 将Hive中conf/下的hive-site.xml拷贝到Spark的conf/目录下；
    在这里插入图片描述
  2. 把Mysql的驱动copy到jars/目录下；
    在这里插入图片描述
  3. 如果访问不到hdfs，则将core-site.xml和hdfs-site.xml拷贝到conf/目录下；
    在这里插入图片描述
  4. 重启spark-shell；
    在这里插入图片描述
    可以查看到数据库及表，则表明spark-shell连接到外部已部署好的Hive。

三、运行Spark beeline

步骤：

  1. 将Hive中conf/下的hive-site.xml拷贝到Spark-local模式下的conf/目录下；
cp /opt/software/hive-2.3.3/conf/hive-site.xml /opt/software/spark-local/conf/
  1. 把Mysql的驱动copy到jars/目录下；
cp /opt/software/hive-2.3.3/lib/mysql-connector-java-5.1.49.jar /opt/software/spark-local/jars/
  1. 如果访问不到hdfs，则将core-site.xm
最低0.47元/天 解锁文章
CREATE^_^
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark-SQL连接Hive 的五种方法
weixin_54064771的博客
12-08 587
因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关语句。Spark Thrift Server 的目的也只是取代 HiveServer2，因此它依旧可以和 Hive Metastore进行交互，获取到 hive 的元数据。如果使用 Spark 内嵌的 Hive, 则什么都不用做, 直接使用即可。
Spark SQL整合Hive
最新发布
m0_66301161的博客
06-18 470
Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。​ 在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。
Spark---Spark连接Hive
大呱的博客
04-06 1297
Spark连接Hive
Spark连接Hive的两种方式
weixin_53299145的博客
12-14 8197
一、使用hive-site.xml 第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xml <configuration> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> <pr
spark-hive连接操作流程、踩坑及解决方法
GitHub-ChauserMondieu
04-05 1399
hive安装；spark-hive兼容版本编译；spark-sql操作hive表格
Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作
雷神乐乐的博客
04-06 3092
Spark on Hive&Spark on Mysql
SparkSession如何连接Hive Metastore？
penriver的博客
04-25 4029
在spark编程中，因为数据存储在hdfs时，需要连接hive metastore，基于spark sql进行数据分析。 1. 连接hive metastore SparkSession连接Hive Metastore，可以通过指定配置文件hive-site.xml【此将文件放在classpath下】, 但有时在本地调试时，不想指定配置文件或没有配置文件hive-site.xml，做法如下 注意： 1. 在实际生产环境中，不需要在sparkSession中配置hive.metastore....
Spark连接Hive三种方式
serendipity
08-27 6190
1. 用Spark-Sql/Spark-Shell执行操作Hive 1.1 相关配置 hive中配置hive-site.xml（增加相关信息） <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.56.1:3306/hive-demo?useSSL=false&
SparkSQL与Hive交互
weixin_43520450的博客
03-08 1089
SparkSQL与Hive交互
Spark访问Hive中的表
博弈星宇
11-29 2238
文件studentinfo--> Linux --> HDFS --> Hive --> Spark读取 1.把本地的文件上传到Linux上 利用命令：rz-E 上传文件studentinfo到Linux下的/dataset/路径下 2.把Linux中/dataset/路径下studentinfo文件上传到HDFS上 hdfs dfs -mkdir -p /dataset hdfs dfs -put studentinfo /dataset/ 3.使用hive或b...
Spark（三）-- SparkSQL扩展（数据读写） -- 访问Hive(三)
happy-vicky的博客
09-26 526
7.5 访问 Hive 导读 整合SparkSQL和Hive, 使用Hive的MetaStore元信息库 使用SparkSQL查询Hive表 案例, 使用常见HiveSQL 写入内容到Hive表 7.5.1 SparkSQL 整合 Hive 导读 开启Hive的MetaStore独立进程 整合...
八十九、Spark连接Hive
tiantang2renjian的博客
05-17 694
Spark连接Hive
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2402
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
Spark-SQL连接Hive
Aricya的博客
12-08 1002
Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好还是在编译 Spark SQL 时引入 Hive支持，这样就可以使用这些特性了。
Spark SQL实战(08)-整合Hive
JavaEdge全是干货的技术号
03-26 1683
统计每个人爱好的个数* pk：3* 1）定义函数* 2）注册函数* 3）使用函数。
spark读取hive数据的两种方式
热门推荐
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
spark-sql集成hive写数据出现权限不足
12-02
当使用Spark-SQL集成Hive写数据时，可能会出现权限不足的问题。这通常是由于以下原因导致的： 1. Hive表权限不足：检查是否对目标表有足够的写入权限。可以通过查看表的权限设置来确认。可以尝试使用Hive命令行界面或Hive Metastore客户端进行权限设置。 2. HDFS文件系统权限不足：Hive表的底层存储通常是在HDFS上，因此确保对HDFS目标位置具有写入权限。可以使用Hadoop命令行界面或HDFS客户端来设置目标位置的权限。 3. Spark-SQL用户权限不足：确保Spark-SQL的用户具有足够的权限来写入Hive表。通常，Spark应用程序运行时使用的用户是Unix用户或YARN用户。检查该用户是否有Hive表和HDFS目标目录的写入权限。 解决这个问题的方法如下： 1. 授予Hive表写入权限：可以使用Hive命令`GRANT`或Hive Metastore客户端来为目标表授予写入权限。 2. 授予HDFS目标目录写入权限：可以使用Hadoop命令或HDFS客户端设置目标目录的权限，确保Spark-SQL用户具有写入权限。 3. 检查Spark-SQL用户的权限：确认Spark-SQL用户是否具有足够的权限来写入Hive表。如果不够，可以修改Unix或YARN用户的权限或联系系统管理员。 总结起来，解决Spark-SQL集成Hive写数据权限不足的问题，需要确保Hive表、HDFS目标目录和Spark-SQL用户均具有写入权限。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值