Spark2.2（五）SparkSQL读写Hive

最新推荐文章于 2024-12-11 13:46:45 发布

H_w

最新推荐文章于 2024-12-11 13:46:45 发布

阅读量1.4k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/Wei_HHH/article/details/101070261

版权

本文介绍了在IDEA中使用SparkSQL进行Hive数据读写时的操作步骤，包括添加hive-site.xml依赖，以及遇到如'/hive/tmp'不存在、版本不匹配和日志目录创建失败等异常的解决办法。

摘要由CSDN通过智能技术生成

IDEA中使用SparkSQL读写Hive

添加依赖

libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.2.0",
                            "org.apache.spark" %% "spark-sql" % "2.2.0",
                            "org.apache.spark" %% "spark-sql" % "2.2.0",
                            "com.databricks" %% "spark-csv" % "1.5.0",
                            "org.apache.spark" %% "spark-hive" % "2.2.0",
                            "mysql" % "mysql-connector-java" % "8.0.15")

复制hive-site.xml

复制hive-site.xml文件放在IDEA工程下的resources目录下，记录了元数据的地址，如果不添加这个配置，SparkSQL将走默认的配置路线，在项目本地创建一个spark-warehouse文件夹来放置我们的元数据

代码实例

package doc

import java.io.File

import

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

H_w

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

案例_Spark SQL实现数据ETL到Hive ODS

11-24

1379

演示如何通过Spark SQL实现ETL任务，将数据分别从文件或MySQL中抽取到Hive数据仓库的ODS层叠（数据贴源层）中。

spark之读写Hive

qq_56870570的博客

07-10

6842

一、数据准备 1.1 将hive-site.xml拷贝到spark/conf目录下：分析：从错误提示上面就知道，spark无法知道hive的元数据的位置，所以就无法实例化对应的client。解决的办法就是必须将hive-site.xml拷贝到spark/conf目录下 1.2测试代码中没有加sc.stop会出现如下错误： ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception ja..

参与评论您还未登录，请先登录后发表或查看评论

黑猴子的家：Spark Sql 写入数据到 Hive

黑猴子的博客

11-07

3149

1、Constants 常量 object Constants { val TABLE_USER_INFO = "user_info" val TABLE_PRODUCT_INFO = "product_info" val TABLE_USER_VISIT_ACTION = "user_visit_action" } 2、DateModel /** * 数量：100...

SparkSQL与Hive的整合

最新发布

Aidon博客

12-11

962

本文包含Spark On Hive、Hive On Spark、SparkSQL命令行、SparkSQL分布式查询的介绍和实践操作.

SparkSQL操作Hive

学亮编程手记

05-12

2214

title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说.

使用Spark SQL读取Hive上的数据

杜海的博客

12-23

6389

Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取...

SparkSQL编程方式纯SQL读写Hive数据源

若兰幽竹

11-10

2435

SparkSQL编程读写Hive数据源一、准备工作二、任务分析三、编码实现五、运行测试一、准备工作实验环境：IDEA + CentOS7 + Spark2.4.8+Hive2.3.3+MySQL2.7+Hadoop2.7.3 数据准备：Hive中的emp员工信息表前置工作： Hadoop开启HDFS服务开启hiveserver2服务开启Spark服务将hive-site.xml复制到idea工程下的resources目录下二、任务分析借助sparksql读写hive表，利用纯

spark连接mysql创建hive表_Apache Spark整合Hive

weixin_39899226的博客

02-11

297

安装hive前提是要先安装hadoop集群，并且hive只需要在NameNode节点集群中安装即可，可以不在DataNode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要hadoop在正常跑着，所以建议你先将hadoop跑起来在按照本文操...

spark sql 查询hive task过多导致任务执行缓慢

weixin_43828782的博客

08-21

2610

一、问题跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示二、解决 1.排查过程 sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的) select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20 想法1:改

spark sql读取hive底层_sparkSQL原理和使用——一般在生产中，基本都是使用hive做数据仓库存储数据，然后用spark从hive读取数据进行处理...

weixin_39780784的博客

12-20

877

1.1 什么是spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。1.2 spark SQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件(一种列式存储文件，是SparkS...

spark sql读写hive的过程

chanyue123的博客

01-17

8792

Spark sql读写hive需要hive相关的配置，所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的，关键是源码分析过程，spark是如何与hive交互的。 1. 代码调用读取hive代码

spark操作hive表源码

11-03

应用spark2.1的api对hive对进行读写，代码中有明确的操作步骤。

Spark（三）-- SparkSQL扩展（数据读写） -- 访问Hive(三)

happy-vicky的博客

09-26

566

7.5 访问 Hive 导读整合SparkSQL和Hive, 使用Hive的MetaStore元信息库使用SparkSQL查询Hive表案例, 使用常见HiveSQL 写入内容到Hive表 7.5.1 SparkSQL 整合 Hive 导读开启Hive的MetaStore独立进程整合...

sparksql 操作hive_sparksql 操作hive_sparksql

weixin_30498015的博客

02-22

348

sparksql不复杂，只要创建好了DataFrame(泛型为RDD的DataSet)，然后通过这个df创建个临时表然后写sql，就能用我们的sqark计算框架做一些我们想要的计算了，而且是只要写sql哦！是不是很好用，只要会sql！就能用！SqarkSql历史hive------>shark-------->sparksqlshark是基于spark计算框架之上的兼容hiveyufa...

Spark SQL整合Hive

weixin_62982569的博客

06-19

598

Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。

SparkSQL与Hive整合、SparkSQL函数操作

m0_51388399的博客

05-07

853

在使用聚合函数后，会将多行变成一行，而over()开窗函数其实就是给每个分组的数据，按照其排序的顺序，打上一个分组内的行号，直接将所有列信息显示出来。SQL中函数，其实说白了就是各大编程语言中的函数，或者方法，就是对某一特定功能的封装，通过它可以完成较为复杂的统计。当系统提供的这些函数，满足不了我们的需要的话，就只能进行自定义相关的函数，一般自定义的函数两种，UDF和UDAF。2)开窗函数：over()开窗函数是按照某个字段分组，然后查询出另一字段的前几个的值，相当于分组取topN。

Spark SQL数据源：Hive表

梁辰兴的博客

06-14

2102

将该文件数据导入表student1中，执行命令：spark.sql(“LOAD DATA INPATH ‘hdfs://master:9000/student/input/student.txt’ INTO TABLE student1”)将数据帧数据写入hive表，执行命令：studentDf.select(“name”, “age”).write.mode(SaveMode.Overwrite).saveAsTable(“test”)这种方式不安全，不建议使用，但是可以在测试环境下暂时解决问题。

大数据之非常详细Spark SQL操作Hive的读写过程

派大星子的博客

12-09

2122

大数据之非常详细Spark SQL操作Hive的读写过程

实训日记九：Spark SQL基础

2301_79744393的博客

06-17

708

Spark基础

sparksql与hive整合（spark-on-hive）

06-06

SparkSQL与Hive整合，也称为Spark-on-Hive，是将Spark和Hive两个大数据处理框架结合起来使用的一种方式。通过这种方式，可以在Spark中使用Hive的元数据和数据仓库，同时也可以在Hive中使用Spark的计算引擎和分布式...