Spark集群中整合hive（元数据存储在MySQL）

最新推荐文章于 2022-09-23 15:18:36 发布
最新推荐文章于 2022-09-23 15:18:36 发布
阅读量247 收藏
点赞数
分类专栏： 大数据集群 学习笔记 文章标签： 大数据 hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucklydog123/article/details/110927230
版权

本文的前提是，已经在集群的一个节点配置好了hive，我的hive已经再Hadoop104节点配置完毕，并且可以正常启动和运行。
一.将hive-site.xml,复制到spark主节点的conf目录下

scp hive-site.xml LMK@hadoop102:/opt/module/spark-2.4.6/conf

在这里插入图片描述
二.将jdbc的连接驱动放到spark的jars目录下

 scp mysql-connector-java-5.1.38.jar LMK@hadoop102:/opt/module/spark-2.4.6/jars

在这里插入图片描述
三.启动spark-sql
做完前两部就可以去hadoop102节点启动spark-sql,测试是否整合好啦

笙不凡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark mysql hive_Spark 配置连接hive 元数据库(mysql)
weixin_28849929的博客
01-30 241
Spark 连接hive 元数据库(mysql)方法一：1)打开Hive metastore[root@head42 ~]# hive --service metastore &netstat -ano|grep 9083 ???2)开启spark连接Mysql[root@head42 ~]# spark-shell --conf spark.hadoop.hive.metastore...
SparkSQL与Hive的整合
清晨随笔
04-25 904
SparkSQL与Hive的整合 1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/ 2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加 export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin export
Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)
茅坤宝骏氹的博客
01-31 935
一、hive配置文件 在spak/conf目录添加hive-site.xml配置，设置mysql作为元数据存储的数据库 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <confi...
集群搭建--搭建spark集群集成hive
迎接小天使
05-23 531
下载 spark-2.4.0-bin-hadoop2.7.tgz 链接：https://pan.baidu.com/s/1dlZlEcvwPck1JpSdBbXyYw 提取码：3y22 解压spark-2.4.0-bin-hadoop2.7.tgz [hadoop@spark1 softwares]$ tar spark-2.4.0-bin-hadoop2.7.tgz -C /u...
使用Spark读取Hive数据，数据存储
搬砖の隔壁老王
09-23 1643
使用spark操作hive库的数据，在日常业务中随处可见，记录一下…… 话不多说 1、无论使用idea或者eclipse，创建工程后，spark、hive 的相关pom . <properties> <spark.core.version>2.4.0</spark.core.version> <scala.version>2.11</scala.version> <build_scope>compile&
Hadoop集群+MySQL+hive+zookeeper+spark
11-16
集群搭建步骤详解。
docker 部署spark集群配置文件
09-12
描述: 这个资源包含了一个基本的Spark集群配置，包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -stop_containers.sh -start-hadoop.sh -start_...
基于Spark的零售交易数据分析
06-24
该项目是大三下学期的课程设计，选取了共541909条数据，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
hadoop集群搭建以及大数据平台搭建
07-27
文档包括hadoop完全分布式、高可用集群搭建教程以及filnk,flume,hive,mysql,spark集群spark高可集群,sqoop的搭建教程以及需要的各种环境安装包以及要使用的相关软件。
hive与spark整合遇到的坑 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException
派大星的博客
09-23 683
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient hive在与spark整合运行一次之后，hive的元数据存储的位置mysql中metastore表下的version表的版本号会发生变化
Spark 学习（十一） spark使用hive的元数据信息
weixin_30763455的博客
06-11 505
一，简介 二，shell方式配置和使用hive元数据信息 　　2.1文件配置 　　2.2驱动包加载 　　2.3命令行启动 三，IDEA编程方式使用hive元数据信息 　　3.1添加依赖 　　3.2程序示例 正文 一，简介 　　跟hive没太的关系，就是使用了hive的标准（HQL， 元数据库、UDF、序列化、反序列化机制）。Hive On Spark...
元数据与数据治理｜Spark初探（第四篇）
十年呵护的专栏
01-08 1126
                                         文章进行了部分简化（元数据与数据治理系列文章） 认识Spark Spark是一个开源的分布式计算系统，它的目的是使得数据分析更快——写起来和运行起来都很快。 Spark 是基于内存计算的大数据并行计算框架。Spark 基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将...
Hive—元数据管理和数据存储
qq_43408367的博客
08-11 1989
## 元数据管理与存储—Metastore 1. 在Hive中，需要定义表结构信息与结构化的数据映射关系，映射指的是对应关系。在Hive中需要描述清楚表跟文件之间的映射关系、列和字段之间的关系等信息。这些描述映射关系的数据的称之为Hive的元数据 2. 只有通过查询Hive元数据才可以确定用户编写sql和最终操作文件之间的关系。 3. Metadata即元数据。元数据包含用Hive创建的database、table、表的字段等元信息。元数据存储在关系型数据库中。如hive内置的Derby、第三方如MySQL
SparkSQL 数据源的加载与保存
weixin_47243236的博客
12-22 2852
Spark SQL 支持通过 DataFrame 接口对多种数据源进行操作。可以使用关系转换对 DataFrame 进行操作，也可以用于创建临时视图。将 DataFrame 注册为临时视图允许对其数据运行 SQL 查询。 1. 通用的加载/保存功能 数据源由它们的完全限定名称（即org.apache.spark.sql.parquet）指定，但对于内置源，可以使用它们的短名称（json、parquet、jdbc、orc、libsvm、csv、text）。从任何数据源类型加载的 DataFrame 都可以.
spark踩坑记
likemebee的博客
08-23 1239
排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件。1.由于spark存在一个机制，为了提高性能，会缓存parquet的元数据信息。当通过hive或其他方式更新了parquet表时，缓存的元数据信息未更新，导致SparkSQL查询不到新插入的数据。
hive表修复元数据
weixin_43825553的博客
04-16 5048
创建完表后希望恢复hdfs上的元数据可以使用msck repair table tablename；(tablename是你的表的名字)方法来进行修复元数据。 上面是一层分区的情况执行的。 下面还有多层分区情况执行的： set hive.msck.path.validation=ignore; msck repair table tablename; 来进行多层分区修复。 ...
spark整合hive
zzds111的博客
03-09 1143
spark sql在编译时是不包含hive表，开启hive依赖后，可以访问hive中的表以及UDF函数 通常我们用spark整合hive，说的是spark接管外部已经使用很长时间的hive,里面大大小小的表非常多，为了提高hive的查询效率，会使用spark来代替原来的mapreduce计算引擎，提升计算效率 1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 <property> <name>hive.
基于spark的数据采集平台
热门推荐
啊大海全是水的博客
06-10 191万+
数据采集平台管理端 https://github.com/zhaoyachao/zdh_web 数据采集平台服务 https://github.com/zhaoyachao/zdh_server 平台介绍 数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档
scala spark增量抽取mysql数据到hive
最新发布
09-17
在Scala中使用Spark进行增量抽取MySQL数据到Hive可以通过以下步骤实现： 1. 导入所需的依赖项：在Scala项目的build.sbt文件中添加Spark和MySQL连接器的依赖项，例如： ``` libraryDependencies += "org.apache....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值