spark-sql 能够读取hive表

已于 2022-03-17 11:38:34 修改
阅读量2.8k 收藏 1
点赞数 1
文章标签： hive spark sql
于 2022-01-28 17:35:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42489619/article/details/122734414
版权

在服务器中直接使用spark-sql 来读取hive表的数据，使用spark引擎进行hive表数据查询，既快又方便。

实现起来很简单，只需要把 安装hive的 hive-site.xml 配置文件，复制到spark安装的conf/ 目录下即可；如果你的hive的元数据库是在mysql,还需要把连接mysql的mysql-connector-java-5.1.46.jar复制到spark安装jars/ 目录下。

然后执行 spark-sql ，在交互界面你就能读取hive 的库和表。

上杉仓南
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark--bin-hadoop2-without-hive.tgz
09-17
"without-hive"表明该版本不包含Hive组件，Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。如果你的项目不需要Hive的功能，这个版本更适合。 6. **部署与...
使用Spark SQL读取Hive上的数据
杜海的博客
12-23 6281
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取...
spark sql读写hive的过程
chanyue123的博客
01-17 8571
Spark sql读写hive需要hive相关的配置，所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的，关键是源码分析过程，spark是如何与hive交互的。 1. 代码调用 读取hive代码
Spark SQL数据源 - Hive表
最新发布
IT深耕十余载，大道之简
06-01 799
Spark SQL对Hive的支持非常强大，可以直接读取和写入Hive表中的数据。Hive是一个基于Hadoop的数据仓库，它提供了SQL接口来查询和管理存储在HDFS或其他Hadoop兼容存储系统中的数据。
SparkSql拉取Hive上的数据
别人笑我太疯癫，我笑他人看不穿。
03-01 1186
想要读取Hive的数据我们首先要从集群中需要xml文件获取下来，分别是core-site.xml、hdfs-site.xml、hive-site.xml，将这三个文件放在项目的resource目录下，spark运行的时候会自动读取 在原本的Spark pom文件中导入spark-hive的包，大家根据自己的scala和spark的版本去选择自己合适的，我用的如下 <dependency> <groupId>org.apache.spark</grou
Spark sql 从hive中读取数据
The_Boy_le的博客
10-25 905
【代码】Spark sql 从hive中读取数据。
大数据之非常详细Spark SQL操作Hive的读写过程
派大星子的博客
12-09 1683
大数据之非常详细Spark SQL操作Hive的读写过程
mastring-spark-sql
05-27
Spark SQL是Apache Spark的一个模块，用于处理结构化数据。它提供了SQL和Apache Hive兼容的查询语言，允许用户对大规模数据集进行查询。Spark SQL的核心是SparkSession，它是进入Spark SQL功能的入口点，并且允许...
spark2.3.1-with-hive
09-07
Hive 是一种基于 Hadoop 的数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供 SQL 查询功能，使得非编程人员也能对大数据进行分析。 Spark 2.3.1 版本包含了一系列的改进和新特性，旨在提高性能、...
spark-2.4.0-hive-hbase-Api.7z
10-31
标题“spark-2.4.0-hive-hbase-Api.7z”表明这是一个与Apache Spark、Apache Hive和Apache HBase相关的压缩包文件，适用于版本2.4.0。这个压缩包很可能包含了这三个组件的API库，使得开发人员能够在集成环境中进行...
spark-sql入门
01-12
通过连接到Hive metastore，Spark SQL可以读写Hive表，使得Hadoop生态系统的现有工作流程能够无缝地与Spark集成。 在实践中，我们还会学习如何使用Spark SQL的命令行接口（Spark SQL shell）进行交互式查询，以及...
spark读取hive数据的两种方式
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
spark-sql读取hive
csdncjh的博客
11-16 3163
Spark-1.3.1与Hive整合实现查询分析 操作步骤 1.我们可以通过指定SPARK_CLASSPATH变量，将需要访问Hive的元数据存储MySQL的驱动包加入进去，然后直接启动Spark SQL Shell即可。 SPARK_CLASSPATH="$SPARK_CLASSPATH:/app/apache-hive-1.2.1-bin/lib/mysql-connector-ja
Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优
u014034497的专栏
10-29 2968
默认情况下因此，默认情况下，切片大小=blocksize。因为一般文件的block大小为128M, 是小于mapreduce.input.fileinputformat.split.maxsize默认值的根据orc文件的stripe，结合参数配置，最终生成split结论：因此使用能够控制生成split个数，进而控制读取的map task数量以下为设置为"67108864"时，spark sql 读取orc文件的示意图。
sparksql运算调优纪事（一）——hive小文件处理
豪大大的博客
09-19 1286
业务目的 全量离线运算统计，结果写入oracle 问题 执行时task数量过多 hive动态分区小文件过多 测试环境5运算节点，内存分别为12G，不断发生内存溢出问题 逐步调优 1、执行时task数量过多，总数达到了108000个，OMG，每个任务都是内存溢出，因为是用sparksql读hive表，所以spark的spark.default.parallelism强制指定task数并没有用，只...
Spark读取Hive的方式以及出现的雷坑
Alex的博客
04-27 3417
spark读取Hive的三种方式 1.HiveJDBC 2.通过服务的方式 直接读数据源 因为hive只是起到映射的作用，所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE) 1.HiveJDBC 方式一： val spark = pec.get[SparkSession]() val dbtable = "( " + sql + ") AS Temp" val jdbcDF = spark.read.format("jdbc") .option("url", jdbc
超详细MySQL安装教程（Windows）
热门推荐
Zhangguohao666的博客
04-09 2万+
安装教程的更新换代速度较快，本教程长时间维护、更新！保证质量。为萌新量身打造
Spark-SQL连接Hive 的五种方法
qq_53114527的博客
12-09 4632
Spark-SQL连接Hive 的五种方法
Spark SQL操作Hive表
RonieWhite的博客
09-02 2798
Spark SQL支持从Hive存储中读写数据。然而，Hive存在很多的依赖，而这些依赖又不包含在默认的各类Spark发型版本中。如果将Hive的依赖放入classpath中，Spark将自动加载它们。值得注意的是，这些依赖必须在所有节点中都存在。因为他们需要通过Hive的序列化和反序列化库(SerDes)来访问存储在Hive中的数据。 在Spark中配置Hive，需要将hive-site.xml, core-site.xml, hdfs-site.xml放置到Spark的conf/目录下。 需要操作H
sparkshell 操作hive表_Spark记录-Spark-Shell客户端操作读取Hive数据
06-06
可以使用Spark Shell客户端操作读取Hive数据。以下是一些常用的操作： 1. 启动Spark Shell 在终端中输入以下命令启动Spark Shell： ``` $ spark-shell --master yarn --deploy-mode client ``` 2. 导入Spark SQL和Hive支持 在Spark Shell中输入以下命令导入Spark SQL和Hive支持： ``` scala> import org.apache.spark.sql.hive.HiveContext scala> val hiveContext = new HiveContext(sc) ``` 3. 查询Hive表 在Spark Shell中输入以下命令查询Hive表： ``` scala> val df = hiveContext.sql("SELECT * FROM <database>.<table>") scala> df.show() ``` 其中，<database>和<table>分别是Hive表所在的数据库和表名。 4. 将Hive表转换为Spark DataFrame 在Spark Shell中输入以下命令将Hive表转换为Spark DataFrame： ``` scala> val df = hiveContext.table("<database>.<table>") scala> df.show() ``` 5. 保存DataFrame到Hive表 在Spark Shell中输入以下命令将DataFrame保存到Hive表： ``` scala> df.write.mode("overwrite").saveAsTable("<database>.<table>") ``` 其中，mode("overwrite")表示如果Hive表已经存在，则覆盖原有表，saveAsTable("<database>.<table>")表示将数据保存到指定的Hive表中。 希望这些操作可以帮助您在Spark Shell中操作Hive表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值