Spark: Structured JDBC 方式访问远程的高可用HA的HIVE

最新推荐文章于 2025-05-26 14:20:15 发布

九师兄

最新推荐文章于 2025-05-26 14:20:15 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/102919706

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍如何使用Spark的Structured JDBC方式连接到远程高可用的HIVE集群。在配置过程中，遇到了由于缺少IP配置导致的错误，通过在不同机器上设置域名与IP的映射关系，最终成功解决问题。

1. 背景

在这里插入图片描述
Spark: Structured JDBC 方式访问远程的高可用HA的HIVE，hive是看高可用的，连接信息如下

jdbc:hive2://xx.cdh1.test.dtwave.internal:2181,xxx.cdh1.test.dtwave.internal:2181,xxx.cdh1.test.dtwave.internal:2181/lb_test;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk
用户名：hive
密码：hive

然后集群是这样的

在这里插入图片描述
然后我在55机器上配置了域名与ip对应关系

121.196.xx.xx   xx.cdh1.test.dtwave.internal
121.199.xx.xx xx.cdh1.test.dtwave.internal

然后执行报错

DD.iterator(RDD.scala:288)
	at org.apache.spark.rdd.MapPartitio

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Spark: Structured + hive（Jdbc方式）卡死

九师兄

07-04

841

1.背景 Spark: Structured + hive（Jdbc方式）卡死，运行入下 19/11/04 15:50:48 INFO metadata.Hive: Registering function test4 com.dtwave.hive.ExtractComplaintUDF 19/11/04 15:50:48 INFO metadata.Hive: Registering func...

Hadoop vs Spark：大数据架构选型终极指南

最新发布

AIGC应用创新大全的博客

08-17

825

更重要的是，它为后续 Spark 等新一代计算框架的诞生和发展提供了坚实的基础（如 HDFS 作为存储层，YARN 作为资源管理器）。从电商平台的个性化推荐、金融机构的风险预警，到智慧城市的交通流量优化、医疗机构的疾病预测，背后都离不开强大的数据处理和分析能力。这些组件紧密集成，共享 Spark Core 的执行引擎和资源管理，使得用户可以在同一个应用程序中无缝地组合使用批处理、SQL 查询、流处理、机器学习和图计算等多种数据处理能力，极大地提高了开发效率和系统的整合性。

参与评论您还未登录，请先登录后发表或查看评论

Spark采用jdbc的方式访问hive

孙大迪迪的博客

01-05

4277

这里需要导入一个jdbc-hive依赖需要注意的是，包的版本一定要确认好，切勿版本过高 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <ve...

spark 通过jdbc读取hive jdbc

wang972779876的博客

06-09

4583

1.通过spark提供的jdbc方式连接代码如下 val spark = SparkSession.builder().master("local").getOrCreate() val rdd = spark.read.format("jdbc") .format("jdbc") .option("driver", "org.apache.hive.jdbc.HiveDriver") .option("url", "jdbc:hive2://hiveserv

SparkSQL（14）：jdbc访问hive表

小蚯蚓的博客

10-01

3041

一、目的：使用jdbc访问hive表二、操作： 1.前提开启thriftserver sbin/start-thriftserver.sh \ --master local[2] \ --jars /opt/datas/mysql-connector-java-5.1.27-bin.jar \ --hiveconf hive.server2.thrift.port=14000...

Spark高可用HA实战

LV_ZFG的博客

07-08

1404

zookeeper可以做让所有机器的状态同步或者做集群的全局配置 Spark高可用HA实战 active挂掉后集群切换流程：当集群的master的active挂掉之后，zookeeper会在standby的master中通过选举机制选择一台standby机器作为leader，通过读取zookeeper中的元数据信息，恢复整个集群的状态，成功恢复之后才能作为整个集群的master（acti

Spark使用Java通过HiveServer2 JDBC方式跨集群读取Hive数据

一个数据小开发的博客

01-25

3028

Spark通过HiveServer2 JDBC方式访问Hive数据(Java语言) 1、环境信息准备 jdbc连接url ，通常都是端口为10000的连接 jdbc用户名 jdbc密码 2、代码实战 public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("Spark-Read-Hive-by-Java") .setMaster.

Kyuubi+Spark+Hive：构建新一代大数据服务化架构实战

sinat_28649711的博客

05-26

835

本文通过深度整合Kyuubi、Spark和Hive，构建了支持高并发、低延迟的SQL服务化平台。该方案已在某头部电商的生产环境支撑日均10万+查询，资源利用率提升40%。随着云原生技术的普及，这种架构将成为大数据基础建设的标准范式。延伸阅读Apache Kyuubi官方文档：https://kyuubi.apache.org/Spark性能优化权威指南（CSDN专题）（本文代码实测环境：OpenJDK 11，Hadoop 3.3.4，欢迎在评论区获取完整配置包）结构化亮点技术深度。

hive 2.3.3(HA) on spark 2.2.0 on yarn 2.6.5踩坑记

豪大大的博客

05-25

2110

环境一览 hive 2.3.3配置HA spark 2.2.0 hadoop 2.6.5 zookeeper 3.6.5 hbase 1.2.6 碰到的所有坑 1、jdbc连接zk时方法找不到异常 org.apache.curator.utils.ZKPaths.fixForNamespace，这个是因为curator-framework和curator-client版本不匹配...

spark driver HA

赵英超的博客

10-24

1424

实验环境： zookeeper-3.4.6 Spark：1.6.0 简介：本篇博客将从以下几点组织文章：一：Spark 构建高可用HA架构二：动手实战构建高可用HA 三：提交程序测试HA 一：Spark 构建高可用HA架构 Spark本身是Master和Slave,而这这里的 Master是指Spark资源调度和分配。负责整个集群的资源调度和分

HIVE HA高可用性及详细使用

05-26

HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用HIVE HA高可用性及详细使用

配置hive高可用

秋雨ヾ的博客

07-20

657

1.导入hive的tar包 2.解压hive的tar包 tar -xzf apache-hive-3.1.1-bin.tar.gz 3.配置hive 将conf/hive-env.sh.template复制为conf/hive-env.sh 修改conf/hive-env.sh里的HDOOP_HOME为 HADOOP_HOME= /data/hadoop/hadoop-3.2.1(haoop的地址) 4.配置conf/hive-site.xml ...

基于haproxy 实现spark hiveserver2 ha

大数据训练营

08-12

9839

1.hiveserver安装如果是hiveserver是基于hive的需要拷贝hive-site.xml文件到spark/conf目录下 hs启动命令: /home/dc/datacenter/soft/spark/spark-1.6.1-bin-2.6.0/sbin/start-thriftserver.sh --deploy-mode client --hiveconf...

spark on hive 的部署，和spark on hive （ha）在本地测试步骤

qq_40140306的博客

04-11

905

spark on hive 的部署1.把hive -site.xml文件拷贝到安装spark 目录下conf里（注意，要重启spark集群生效）2.启动hive服务 hive --service metastore3.自己测试spark-shell 如果不行的话吧mysql的注册驱动包放到spark/lib下在本地测试跑1.把hive-site.xml文件拷在resource(idea)2.把...

Hive远程模式

旧时明月

08-08

1101

Hive远程模式生产环境下用存放元数据的MySQL数据库服务器和Hive服务器不在同一台上，甚至放在不同的操作系统上。【问题】如何确保元数据的安全？ 1.定期备份Mysql 2.搭建高可用的MySql集群 Hiv

Spark Structured : HIve jdbc方式访问待下划线的表，找不到表的错误

九师兄

07-04

674

1.背景 Spark Structured : HIve jdbc方式访问待下划线的表，找不到表的错误 > select * from default._xd_after limit 1; > 报错 > FALILED:ParseException line cannnot recognize input near 'default'.'_xd_after' in table...

java引用hive高可用连接hive_Hive扩展功能(五)--HiveServer2服务高可用

weixin_36194553的博客

02-26

604

软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8##主机配置:######一共m1, m2, m3这五部机, 每部主机的用户名都为centos```192.168.179.201: m1192.168.179.202: m2192.168.179.203: m3m1: Zookeeper, Namenode, DataNode, Re...

【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现

hiliang521的博客

11-28

3671

【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现

Spark连接Hive的两种方式

weixin_53299145的博客

12-14

8800

一、使用hive-site.xml 第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xml <configuration> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> <pr