Spark SQL 与Hive集成

最新推荐文章于 2024-06-19 09:00:00 发布
最新推荐文章于 2024-06-19 09:00:00 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45366499/article/details/108757298
版权

目录

一、Spark SQL 与Hive集成(spark-shell)

（1）添加配置项目

第一步：
把Hadoop集群的core-site.xml,hdfs-site.xml和hive的配置文件hive-site.xml拷贝到spark的conf的目录下

cp hive-site.xml /opt/Hadoop/spark/conf

第二步：
添加hive-site.xml中metastore的url的配置

<property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083</value>
</property>

第三步：
把hive中的MySQL的jar包上传到spark的jars目录下

cp mysql-connector-java-5.1.48-bin.jar /opt/Hadoop/spark/jars

第四步：
检查spark-env.sh文件中的Hadoop的配置项

HADOOP_CONF_DIR=/opt/Hadoop/hadoop/etc/hadoop

（2）启动服务

第一步：
检查mysql是否启动：

service mysqld status

Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since 三 2020-09-23 14:48:53 CST; 1h 10min ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 1712 ExecStart=/usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid $MYSQLD_OPTS (code=exited, status=0/SUCCESS)
  Process: 1179 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 1714 (mysqld)
   CGroup: /system.slice/mysqld.service
           └─1714 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mys...

9月 23 14:48:50 node1 systemd[1]: Starting MySQL Server...
9月 23 14:48:53 node1 systemd[1]: Started MySQL Server.

第二步：
启动hive中的metastore

bin/hive --service metastore

Starting Hive Metastore Server

（3）数据测试

第一步：
启动hive

bin/hive

第二步：
创建kfk数据库

create database kfk;

第三步：
创建test表

use kfk;

create table if not exists test(userid string,username string) 
row format delimited fields terminated by ' ' stored as textfile;

第四步：
准备数据

0001 java
0002 python
0003 c
0004 hadoop
0005 php
0006 linux
0007 spark

第五步：
导入数据

load data local inpath "/opt/datas/test1.txt" into table test; 

hive (kfk)> select * from test;
OK
test.userid	test.username
0001	java
0002	python
0003	c
0004	hadoop
0005	php
0006	linux
0007	spark
Time taken: 0.055 seconds, Fetched: 7 row(s)

第六步：
通过spark-shell查看数据

spark.sql("select * from kfk.test")

res0: org.apache.spark.sql.DataFrame = [userid: string, username: string]

scala> spark.sql("select * from kfk.test").show
+------+--------+
|userid|username|
+------+--------+
|  0001|    java|
|  0002|  python|
|  0003|       c|
|  0004|  hadoop|
|  0005|     php|
|  0006|   linux|
|  0007|   spark|
+------+--------+

（4）将数据集写入到MySQL

首先进入mysql数据库，并且创建test数据库

mysql -u root -p

mysql> create database test;

然后进入spark shell ，将spark sql分析hive中的数据写入到mysql中

scala> import java.util.Properties
import java.util.Properties

scala> val pro = new Properties()
pro: java.util.Properties = {}

scala> pro.setProperty("driver","com.mysql.jdbc.Driver")
res0: Object = null

scala> val df = spark.sql("select * from kfk.test")
df: org.apache.spark.sql.DataFrame = [userid: string, username: string]

scala> df.write.jdbc("jdbc:mysql://node1/test?user=root&password=199911","spark1",pro)

最后查看mysql数据库中表spark1的数据

mysql> select * from spark1;

+--------+----------+
| userid | username |
+--------+----------+
| 0001   | java     |
| 0002   | python   |
| 0003   | c        |
| 0004   | hadoop   |
| 0005   | php      |
| 0006   | linux    |
| 0007   | spark    |
+--------+----------+
7 rows in set (0.00 sec)

二、Spark SQL 与Hive集成(spark-sql)

第一步：启动hive中的metastore

bin/hive --service metastore

Starting Hive Metastore Server

第二步：启动spark-sql

bin/spark-sql

显示数据库，我们可以发现是和hive中是一样的，命令也是使用SQL语句

spark-sql (default)> show databases;
20/09/23 10:38:58 INFO CodeGenerator: Code generated in 164.478292 ms
databaseName
default
kfk
Time taken: 1.338 seconds, Fetched 2 row(s)
20/09/23 10:38:58 INFO SparkSQLCLIDriver: Time taken: 1.338 seconds, Fetched 2 row(s)

spark-sql (default)> use kfk;

spark-sql (default)> show tables;
20/09/23 10:39:34 INFO CodeGenerator: Code generated in 8.452303 ms
database	tableName	isTemporary
kfk	test	false
Time taken: 0.059 seconds, Fetched 1 row(s)
20/09/23 10:39:34 INFO SparkSQLCLIDriver: Time taken: 0.059 seconds, Fetched 1 row(s)

spark-sql (default)> select * from test;

userid	username
0001	java
0002	python
0003	c
0004	hadoop
0005	php
0006	linux
0007	spark
Time taken: 0.806 seconds, Fetched 7 row(s)

综上，Spark SQL 与Hive集成成功。

三、Spark SQL 与Hive集成(IDEA工具)

把Hadoop集群的core-site.xml,hdfs-sit.xml和hive的hive-site.xml文件拷贝到项目的resources目录下

package com.kfk.spark.sql

import org.apache.spark.sql.SparkSession

/**
 * @author : 蔡政洁
 * @email :caizhengjie888@icloud.com
 * @date : 2020/12/9
 * @time : 4:01 下午
 */
object HiveSpark {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession
                .builder
                .appName("Spark Hive Example")
                .master("local")
                .config("spark.sql.warehouse.dir", "/Users/caizhengjie/Document/spark/spark-warehouse")
                .enableHiveSupport()
                .getOrCreate

        spark.sql("select * from hivespark.person").show()
    }

}

运行结果：

+------+------+--------+------+
|deptid|userid|username|salary|
+------+------+--------+------+
|dept-1|   001|  cherry|  1900|
|dept-1|   002|    alex|  5600|
|dept-1|   003|    jack|  7800|
|dept-2|   004|    jone|  2000|
|dept-2|   005|    lucy|  4500|
|dept-2|   006|    lili|  6300|
|dept-2|   007|   carry|  9000|
+------+------+--------+------+

四、Spark SQL之ThirftServer和beeline使用

Spark SQL也可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。
thriftserver和spark-shell/spark sql的区别：

  • spark-shell，spark-sql都是一个spark application
  • thriftserver，不管你启动多少个客户端(beeline/code)，只要是连在一个thriftserver上，永远都是一个spark application，解决了一个数据共享的问题，多个客户端可以共享数据。
  • 用thriftserver，在UI中能直接看到sql的执行计划，方便优化

总结
基于Spark的thirftserver来访问hive中的数据，可以让多个客户端连接到同一个服务器端，跑的是同一个application
Thirftserver作为服务端，beeline作为客户端来访问服务端，支持多个客户端同时访问，有助于多个客户端之间数据的共享

使用步骤：
第一步：启动metastore服务

bin/hive --service metastore

Starting Hive Metastore Server

第二步：启动thriftserver

sbin/start-thriftserver.sh

starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /opt/Hadoop/spark/logs/spark-caizhengjie-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-node1.out

第三步：通过客户端beeline来连接

[caizhengjie@node1 spark]$ bin/beeline 
Beeline version 1.2.1.spark2 by Apache Hive

beeline> !connect jdbc:hive2://node1:10000

Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: caizhengjie
Enter password for jdbc:hive2://node1:10000: ******
20/09/24 01:26:56 INFO Utils: Supplied authorities: node1:10000
20/09/24 01:26:56 INFO Utils: Resolved authority: node1:10000
20/09/24 01:26:56 INFO HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://node1:10000
Connected to: Spark SQL (version 2.4.6)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ

下面就可以通过SQL命令来来访问hive中的数据表

show databases;

+---------------+--+
| databaseName  |
+---------------+--+
| default       |
| kfk           |
+---------------+--+

use kfk;

+---------+--+
| Result  |
+---------+--+
+---------+--+

show tables;

+-----------+------------+--------------+--+
| database  | tableName  | isTemporary  |
+-----------+------------+--------------+--+
| kfk       | test       | false        |
+-----------+------------+--------------+--+

select * from test;

+---------+-----------+--+
| userid  | username  |
+---------+-----------+--+
| 0001    | java      |
| 0002    | python    |
| 0003    | c         |
| 0004    | hadoop    |
| 0005    | php       |
| 0006    | linux     |
| 0007    | spark     |
+---------+-----------+--+

最后，我通过测试，使用了2个客户端beeline的连接，查看web监控页面
在这里插入图片描述
其实就是一个application，每个beeline只作为一个job

以上内容仅供参考学习，如有侵权请联系我删除！
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力！

<一蓑烟雨任平生>
关注
专栏目录
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2947
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1359
hive on spark的整合配置及具体实现文档
ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver解决办法
mnasd的博客
05-21 5185
我们通过源码编译的spark-2.3.0来启动spark-sql进行sql操作，结果出现如下错误：Spark assembly has been built with Hive, including Datanucleus jars on classpath java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftse...
Spark SQL 集成Hive（一）
xiaohu21的博客
10-08 699
Spark SQL 集成Hive（一） 1. 背景 Hive可以看做是一个转换器，将SQL转换为mapreduce或者spark程序 Spark SQL也可以看成一个转换器，将SQL转换为spark程序 Hive集成Spark SQL有几种集成方式，一种是直接使用Spark SQL替代Hive，SQL是Spark SQL，程序转换也是Spark 程序，唯一有关联的就是一个hive-site.xml配置文件。本文讲述的就是第一种 另外一种集成方式就是SQL还是hive，但执行引擎变成了Spark。 2.
015-Spark SQL与 Hive集成
艾文
09-01 1606
原生spark1.4.0 和hive1.3.0 集成，并对比spark-sql和hive执行效率
Spark SQL整合Hive
最新发布
weixin_62982569的博客
06-19 512
Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。​ 在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。
Spark整合Hive
祗要习惯就好的博客
10-23 1520
安装hive 解压hive到指定的目录中，一般解压在/usr/local/hivetar -zxvf hive-xxx.tar.gz配置系统环境 配置hive-env.sh的环境 配置hadoop的家目录，配置hive的家目录，已及配置hive配置文件的目录配置hive-site.xml<property> <name>hive.metastore.local</name>
SparkSQL集成Hive
yilulvxing的博客
08-05 4159
（1）相关配置： 将以下文件拷贝到 $SPARK_HOME/conf 目录下 Hive: hive-site.xml Hadoop: core-site.xml和hdfs-site.xml 同时，启动Spark shell 的时候，需要制定mysql的驱动 首先查看core-site.xml，hdfs-site.xml，hive-site.xml (2)拷贝mys...
Atlas Spark SQL血缘分析，Hive Hook
05-25
与Hive的集成使得Spark SQL可以访问Hive Metastore中的表和分区，进一步增强了Spark的灵活性和可扩展性。 Apache Atlas的Hive Hook是在Hive执行器中插入的一个组件，它能够在Hive操作执行前后捕获元数据变更信息，...
Spark SQL精华及与Hive的集成（spark sql原理，API,操作外部源数据，SQL函数）
May_J_Oldhu的博客
11-25 983
Spark SQL精华及与Hive的集成一.Spark SQL原理1.SQL on Hadoop2.spark的前身：shark3.Spark SQL架构4.Spark SQL运行原理5.Catalyst优化器（1）逻辑计划（2）优化（3）物理计划二.Spark SQL API1.Dataset（1）基本概念（2）使用Case Class创建Dataset2.Dataframe（1）基本概念（2）RDD与DataFrame对比（3）创建DataFrame及基本操作（4）RDD->DataFrame方式
Spark SQL 集成Hive（二）
xiaohu21的博客
10-08 179
Spark SQL 集成Hive（二） 1. 背景 Hive可以看做是一个转换器，将SQL转换为mapreduce或者spark程序 Spark SQL也可以看成一个转换器，将SQL转换为spark程序 Hive集成Spark SQL有几种集成方式，一种是直接使用Spark SQL替代Hive，SQL是Spark SQL，程序转换也是Spark 程序，唯一有关联的就是一个hive-site.xml配置文件。本文讲述的就是第一种 另外一种集成方式就是SQL还是hive，但执行引擎变成了Spark。这种集成也
Spark SQL与Hive集成
qq_52137951的博客
05-03 1007
文章目录前言一、Spark SQL与Hive集成(spark-shell)1.第一步2.第二步3.第三步4.启动服务1.启动hadoop各个结点和mysql2.启动hive中的metastore5.测试1.准备数据2.创建数据库3.创建表4.加载数据5.通过spark-shell查看数据6.将数据写入MySQL1.创建数据库2.将spark sql分析hive中的数据写入到mysql中二.Spark SQL 与Hive集成(spark-sql)三、Spark SQL之ThirftServer和beeline
sparksql和hive集成
大JAVA解决方案
04-07 515
########################################alter database hive character set latin1;ALTER TABLE hive.* DEFAULT CHARACTER SET latin1;########################################1.安装hiveCREATE USER 'hive'@'%' ...
Spark SQL 整合 Hive
CyAurora的博客
08-17 471
spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本...
spark与hive的集成
weixin_30505225的博客
09-05 819
一：介绍 1.在spark编译时支持hive 　　 2.默认的db 　　当Spark在编译的时候给定了hive的支持参数，但是没有配置和hive的集成，此时默认使用hive自带的元数据管理:Derby数据库。 　　 二：具体集成　 1.将hive的配合文件hive-site.xml添加到spark应用的classpath中（相当于拷贝） 　　 2.第二步集成 　　根据hive的...
spark集成hive spark sql编程（forty-eight day）
ZJX103RLF的博客
05-13 424
spark集成hive ------------------------ 1.创建hive-site.xml软连接到spark/conf下 $>xcall.sh "ln -s /soft/hive/conf/hive-site.xml /soft/spark/conf/hive-site.xml" 2.mysql驱动程序复制到spark/jars ...
【博学谷学习记录】超强总结，用心分享 | Spark与Hive集成
Onzswhite的博客
04-07 261
HiveServer2：接收SQL语句，将SQL编译优化执行，翻译为MR程序提交Yarn执行。MetaStore：提供元数据管理。Spark On Hive是为了替换Hive的执行引擎，将MR变为Spark RDD程序运行，所以本质是替换HiveServer2。
SparkSQL与Hive的集成
qq_40375298的博客
08-13 156
Parquet类型文件 Parquet文件：是一种流行的列式存储格式，以二进制存储，文件中包含数据与元数据 //TODO 1.创建一个SparkSession 对象 val spark: SparkSession = SparkSession.builder() .master("local[4]").appName("test07") .getOrCreate() //导包 import spark.implicits._ val sc: Spar
spark sql与hive hbase mysql集成
03-16
Spark SQL可以与Hive、HBase和MySQL集成。 与Hive集成：Spark SQL可以通过HiveContext连接到Hive，使用Hive的元数据和查询语言。这样可以在Spark中使用Hive表和查询，同时也可以在Hive中使用Spark SQL的功能。 与HBase集成：Spark SQL可以通过HBase数据源连接到HBase，读取和写入HBase表。这样可以在Spark中使用HBase表，同时也可以在HBase中使用Spark SQL的功能。 与MySQL集成：Spark SQL可以通过JDBC连接到MySQL，读取和写入MySQL表。这样可以在Spark中使用MySQL表，同时也可以在MySQL中使用Spark SQL的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

<一蓑烟雨任平生>

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值