大数据之非常详细Spark SQL操作Hive的读写过程

已于 2022-12-18 19:48:13 修改
阅读量1.6k 收藏 8
点赞数 3
分类专栏： 大数据 文章标签： 大数据 hive spark sql 数据库
于 2022-12-09 12:55:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52157830/article/details/128251077
版权

大数据

大数据之非常详细Spark SQL操作Hive的读写过程

大数据目录

一、Spark SQL架构和原理

1.shark和hive关系

Hive是Shark的前身

2.Hive的两种功能

2.1 作为数据仓库提供存储功能

Hive的元数据，如库、表等结构信息，均由Hive自身来维护，但数据本身存储在HDFS集群中

2.2 作为查询引擎提供检索查询功能

3.Hive的查询功能如下

1、将HQL翻译成MR代码。
2、将job打成jar包并发送到Hadoop集群中运行

二、Spark SQL操作Hive的方法

1.SparkSQL访问Hive仓库

在Spark安装目录中的conf目录下，添加hive配置文件

cd /opt/module/spark-2.1.1/conf
vi hive-site.xml

在这里插入图片描述

2.启动服务

在MySQL安装节点（slave001）启动MySQL服务：

systemctl start mysqld.service

在这里插入图片描述

启动Hive元数据服务，并验证Hive是否可用
启动命令如下

nohup hive --service metastore &>metastore.log&

在这里插入图片描述在这里插入图片描述

3.启动Hadoop集群

在这里插入图片描述

4.启动SQL

在这里插入图片描述

三、通过Spark SQL查询表中的数据

在hive中创建库test，表stu，并加载数据；然后通过Spark SQL查询表stu中的数据。

1.创建数据库test

在这里插入图片描述

查看一下是否创建出了test数据库

在这里插入图片描述

2.创建表stu

在这里插入图片描述

查看是否创建表成功

在这里插入图片描述

3.插入数据

在这里插入图片描述

查看是否插入成功

在这里插入图片描述

4.Spark连接Hive读写数据

利用spark-shell切换到终端窗口

在这里插入图片描述

显示数据库

在这里插入图片描述

查询数据

在这里插入图片描述

总结

以上就是今天要讲的内容，本文仅仅简单介绍了大数据之非常详细Spark SQL操作Hive的读写过程，结合以上步骤和书中内容相信你也可以的，加油。

派大星子fff
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
spark读取hive数据的两种方式
热门推荐
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
Spark连接Hive读取数据
m0_56210953的博客
08-12 5028
从Hadoop环境搭建到Spark连接Hive的小白入门教程，一套流程走下来在多次的尝试中既可以熟悉linux命令行的应用，同时初步熟悉大数据技术。
Spark SQL整合Hive
最新发布
m0_66301161的博客
06-18 439
Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。​ 在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。
spark sql读写hive的过程
chanyue123的博客
01-17 8522
Spark sql读写hive需要hive相关的配置，所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的，关键是源码分析过程，spark是如何与hive交互的。 1. 代码调用 读取hive代码
使用Spark SQL读取Hive上的数据
杜海的博客
12-23 6262
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取...
Spark读取Hive数据的两种方式与保存数据到HDFS
m0_46168848的博客
02-02 4272
Spark读取Hive数据的两种方式与保存数据到HDFS
简单的spark 读写hive以及mysql
11-30
1. **数据类型匹配**：Spark DataFrame 和 Hive 或 MySQL 表的列数据类型应保持一致，否则可能会在读写过程中遇到问题。 2. **分区策略**：在写入 Hive 时，如果数据量大，可以使用分区策略来优化存储和查询性能。...
spark操作hive表源码
11-03
总的来说，通过Spark 2.1的API操作Hive表，不仅提供了便捷的数据读写接口，还充分利用了Spark的计算优势。同时，深入源码可以让我们更好地理解Spark如何与Hive集成，以及数据在两者之间流动的流程，这对于优化大数据...
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
Spark与Hive的集成允许我们直接操作Hive表，将Hive数据转换为Spark DataFrame，这样就可以利用Spark的并行计算能力进行数据预处理和转换。 3. **数据转换**： 在从Hive加载数据到Spark后，可能需要对数据进行清洗...
【Spark大数据习题】习题-Spark SQL&&&Kafka&& HBase&&HivePDF资源路径-Spark2
06-01
【Spark大数据习题】涉及到的知识点涵盖了Spark的基础、Spark SQL、Kafka、HBase和Hive等关键领域。首先，我们从Scala语言基础部分开始。 Scala是一种多范式编程语言，融合了面向对象编程和函数式编程的特点。它...
Spark sql 从hive中读取数据
The_Boy_le的博客
10-25 881
【代码】Spark sql 从hive中读取数据。
Spark访问Hive中的表
博弈星宇
11-29 2235
文件studentinfo--> Linux --> HDFS --> Hive --> Spark读取 1.把本地的文件上传到Linux上 利用命令：rz-E 上传文件studentinfo到Linux下的/dataset/路径下 2.把Linux中/dataset/路径下studentinfo文件上传到HDFS上 hdfs dfs -mkdir -p /dataset hdfs dfs -put studentinfo /dataset/ 3.使用hive或b...
Spark读取Hive的方式以及出现的雷坑
Alex的博客
04-27 3408
spark读取Hive的三种方式 1.HiveJDBC 2.通过服务的方式 直接读数据源 因为hive只是起到映射的作用，所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE) 1.HiveJDBC 方式一： val spark = pec.get[SparkSession]() val dbtable = "( " + sql + ") AS Temp" val jdbcDF = spark.read.format("jdbc") .option("url", jdbc
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
showswoller的博客
12-19 2167
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
spark读取数据写入hive数据表
wangwangstone的博客
02-01 5498
pyspark 从已有数据表读取数据写入目标hive表的代码模板
黑猴子的家：Spark Sql 写入数据到 Hive
黑猴子的博客
11-07 3119
1、Constants 常量 object Constants { val TABLE_USER_INFO = "user_info" val TABLE_PRODUCT_INFO = "product_info" val TABLE_USER_VISIT_ACTION = "user_visit_action" } 2、DateModel /** * 数量：100...
spark中HDFS文件操作，hive表操作
Code_LT的博客
09-16 2716
import java.io.OutputStreamWriter /** * 读取hdfs文件 * * @param aPath 要读取的文件路径,如hdfs://clusterA/direct1/text1.txt" * @return */ val sc = SparkSession.builder().enableHiveSupport().getOrCr...
SparkSQL和Hive集群整合详解
LBJ_小松鼠的博客
01-18 529
简介: 代码谁都会敲,关键是要逻辑要清楚 1-为什么出现SparkOnHive(SparkSQL)？ 1-本质上SparkOnHive为了解决Hive计算的速度慢的问题 2-现在在工业场景中更多的离线分析都是基于Hive+Spark的整合 2-注意： SparkOnHive仅仅使用了Hive的元数据的信息，其他都是用spark的技术 需要将hive的hive-site.xml拷贝到spark/conf中实现spark知晓hive的元数据信息、 3-步骤： 1-原理：需要整合Hive的元数据的信息，启
spark sql 操作 mysql数据库和 hive数据仓库
06-28
### 回答1： Spark SQL可以通过JDBC连接操作MySQL数据库，也可以通过HiveContext连接操作Hive数据仓库。对于MySQL数据库，需要先将MySQL的JDBC驱动包添加到Spark的classpath中，然后使用SparkSession的read和write方法读写MySQL表。对于Hive数据仓库，需要先启动Hive服务，并将Hive的JDBC驱动包添加到Spark的classpath中，然后使用HiveContext的sql方法执行HiveQL语句。 ### 回答2： Spark SQL 是 Spark 的一个子模块，它支持对结构化数据进行处理和分析，同时 Spark SQL 可以与多种数据源进行集成和交互，其中包括 MySQL 数据库和 Hive 数据仓库。 Spark SQL 操作 MySQL 数据库的实现方式通常是通过 JDBC 驱动来实现的。首先需要在 Spark 的配置文件中添加 MySQL 驱动的相关配置信息，同时也需要将 MySQL 驱动的 JAR 包添加到 Spark 的 Classpath 中，然后就可以使用 Spark SQL 的数据源 API 将 MySQL 数据库中的数据载入到 Spark 的 DataFrame 中进行处理和分析了。 Spark SQL 操作 Hive 数据仓库的实现方式也较为简单，因为 Spark 提供了对 Hive 的原生支持，可以直接将 Hive 表作为 Spark SQL 的数据源进行处理和分析。在使用 Spark SQL 操作 Hive 数据仓库时，需要在 Spark 的配置文件中添加 Hive 的相关配置信息，同时也需要将 Hive 的 JAR 包添加到 Spark 的 Classpath 中，然后就可以在 Spark SQL 中使用 Hive 数据源 API 从 Hive 数据仓库中读取数据进行分析和处理。 总的来说，Spark SQL 操作 MySQL 和 Hive 数据仓库都比较方便，只需要配置好相关的驱动和参数，就可以像处理普通数据文件一样对这些数据进行查询和转换。此外，Spark SQL 还支持多种数据源的交互，包括 JSON，CSV，Parquet，Avro 和 ORC 等格式的数据文件。Spark SQL 的数据源兼容性很好，可以方便地与多种数据源进行集成使用，为分布式数据处理和分析带来更多的便利和灵活性。 ### 回答3： Spark SQL是以SQL语言为基础的Apache Spark模块。它支持从多种数据源中读取数据，进行数据操作和数据分析。其中，MySQL数据库和Hive数据仓库都是比较常见的数据源之一。下面就分别介绍一下Spark SQL操作MySQL和Hive的方法和步骤。 1. Spark SQL操作MySQL数据库 步骤一：导入MySQL的JDBC driver Spark SQL需要使用MySQL JDBC driver来操作MySQL数据库，因此需要先将其导入到Spark代码中。可以在maven中央仓库中找到适合版本的MySQL JDBC driver，然后将其添加到项目中。 步骤二：连接MySQL数据库 在Spark SQL中，一般通过jdbc的方式来连接MySQL数据库。需要提供MySQL服务的IP地址和端口，数据库名称以及登录MySQL的用户名和密码。连接MySQL数据库的代码示例： ``` val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://mysqlip:3306/test") .option("dbtable", "userinfo") .option("user", "root") .option("password", "root") .load() ``` 上述代码中，将MySQL的IP地址和端口、数据库名称、表名、用户名和密码等信息封装在.option()中。 步骤三：操作MySQL数据库 连接成功后，即可对MySQL数据库进行操作。Spark SQL操作MySQL的方式与操作DataFrame或SQL类似。例如： ``` jdbcDF.show() ``` 上述代码中，使用.show()方法来展示加载到DataFrame中的MySQL表的数据。 2. Spark SQL操作Hive数据仓库 步骤一：配置Hive Support 为了让Spark SQL支持Hive，需要在构建Spark时开启Hive Support。可以在Spark官网(https://spark.apache.org/downloads.html)下载已经包含了Hive Support的Spark压缩包，或者自行下载源码进行编译。 步骤二：连接Hive数据仓库 连接Hive数据仓库需要使用Hive JDBC driver。可以从Apache官网(https://hive.apache.org/downloads.html)下载Hive JDBC driver并添加到项目。 连接Hive数据仓库的代码示例： ``` val spark = SparkSession.builder() .appName("SparkHive") .master("local") .enableHiveSupport() .getOrCreate() ``` 上述代码中，通过.enableHiveSupport()方法开启Spark SQL支持Hive。创建完SparkSession后，即可连接Hive数据库。 步骤三：操作Hive数据库 连接成功后，即可在Spark SQL中操作Hive数据库。Spark SQL通过HiveQL来操作Hive数据库，与操作SQL语句类似。例如： ``` spark.sql("SELECT * FROM testdb.userinfo").show() ``` 上述代码中，使用sql()方法来执行SELECT语句，并展示结果。 综上，Spark SQL可以操作MySQL和Hive等多种数据源。操作MySQL需要导入MySQL JDBC driver，并通过jdbc连接MySQL数据库；操作Hive需要在构建Spark时开启Hive Support，并导入Hive JDBC driver。操作数据库的代码与Spark SQL操作DataFrame和SQL基本一致。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值