Spark-sql 链接hive 元数据 数据的表

最新推荐文章于 2024-07-19 16:04:56 发布
最新推荐文章于 2024-07-19 16:04:56 发布
阅读量188 收藏 1
点赞数
文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45967421/article/details/109522925
版权

需要修改 hive conf 中的 hive-site.xml 文件
在这里插入图片描述
增加过这个配置之后 hive 就会用不了
接下来
启动hive元数据服务
nohup hive --service metastore >> metastore.log 2>&1 &

启动过后 jps 会有 一个 runjar
在这里插入图片描述
在这里插入图片描述
配置环境 变量 可以直接 执行 没有 的 话 要去 hive bin 目录下 执行

2、将hive-site.xml 复制到spark conf目录下
在这里插入图片描述
4、 将mysql 驱动包复制到saprk jars目录下
cp mysql-connector-java-5.1.17.jar /usr/local/soft/spark-2.4.5-bin-hadoop2.6/jars/
到 hive的 lib 目录下执行

这个时候 就可以 在 spark -sql 中看到 hive 中的表1了 链接hive 元数据
在这里插入图片描述
在这里插入图片描述

请大佬带带我
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在实际使用中，首先需要解压缩这些文件，然后配置Spark的`spark-defaults.conf`文件以指向Hive的元数据存储位置（如HDFS或本地文件系统上的metastore_db）。接着，通过设置`spark.sql.hive.metastore.uris`等参数，...
使用Spark SQL访问Hive库中所有表元数据信息的Java代码
m0_46168848的博客
04-17 985
【代码】使用Spark SQL访问Hive库中所有表元数据信息的Java代码。
06-SparkSQL
PenguinLittle的博客
03-18 3138
1.spark sql 1.1.spark sql概述 官网地址：http://spark.apache.org/sql/ 1.1.1.什么是spark sql spark sql是spark用来处理结构化数据的一个模块，它提供了一个编程抽象DataFrame，作为分布式SQL查询的引擎，它是将spark sql转换成RDD，然后提交到集群中去运行，执行效率非常快。支持多种使用方式：SQL、DataFrame API、DataSet API。 相比于spark RDD API，spark sql包含了对结
sparksql更新mysql表_sparksql读取mysql表的两种方式
weixin_42526310的博客
01-19 514
一、mysql数据表及数据mysql> use test;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> show tables;+-...
Spark SQL 【一】
qq_45494908的博客
04-23 750
Spark SQL与Hive on Spark 区别、 SparkContext 与 SparkSession、 Spark SQL 对接hive（spark-shell、spark-sql、thirftserver）
SparkSQL Catalog的作用和访问Hive元数据信息
qq_43688472的博客
01-15 5135
SparkSQL Catalog的作用： SparkSQL直接访问hive元数据信息，不再需要去mysql里的表里去查找 Spark 2.0中添加了标准的API（称为catalog）来访问Spark SQL中的元数据。这个API既可以操作Spark SQL，也可以操作Hive元数据。 代码操作： package g5.learning import org.apache.spark.sql.Sp...
spark-1.6.3-bin-hadoop2.4-without-hive.tgz
02-24
对于不包含 Hive 的特性，这意味着用户无法直接通过 Spark 访问 Hive 表，也不能利用 Hive 的元数据管理和查询优化功能。然而，这并不意味着完全不能与 Hive 配合使用，只是需要通过其他方式（如 JDBC 或者 Thrift ...
spark-2.3.0-bin-hadoop2-without-hive
03-21
用户需要自行添加 Hive 的相关依赖，并在 Spark 的配置文件（如 `spark-defaults.conf`）中设置 `spark.sql.hive.metastore.uris`，指向 Hive 的元数据服务器地址，确保 Spark 能够访问 Hive 的元数据。 在实际操作...
spark-3.0.2-bin-hadoop2.7-hive1.2.tgz
05-08
这个安装包是专门为与Hadoop 2.7和Hive 1.2集成设计的，这意味着它包含了与Hive元数据存储和查询接口的兼容性，使得在大数据生态系统中进行交互式查询和分析变得更加便捷。 Hadoop是分布式存储和计算的基石，Hadoop...
spark2.3.1-with-hive
09-07
Spark 2.3.1 是一个重要的大数据处理框架，它提供了高效的分布式计算能力，而与 Hive 的集成使得 Spark 可以充分利用 Hive 的元数据、SQL 查询功能和存储系统，为大数据分析提供更丰富的选择。Hive 是一种基于 ...
SparkSQL整合Hive实现metastore元数据共享
GulfMoon
03-26 5814
一、需求 在兼容Hive技术的前提下，推进SparkSQL技术的使用，那么就会衍生出一个问题：如何让Hive和SparkSQL数据共享？，比如在Hive中操作，然后在SparkSQL中能够看到变化，反之亦然。 注意：记住一个前提，先使用Hive在先，后引入SparkSQL，笔者在操作过程中发现了一个问题，之前SparkSQL中的数据会看不到，只能看到Hive中的，这个问题有待进一步研究。 H...
SparkSql 用Scala代码查询Hive里面的指定的表
张俊杰 的博客
11-22 996
Maven依赖 <!--添加spark对hive的支持的jar包--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.1.1</version> &
Spark访问Hive中的表
博弈星宇
11-29 2232
文件studentinfo--> Linux --> HDFS --> Hive --> Spark读取 1.把本地的文件上传到Linux上 利用命令：rz-E 上传文件studentinfo到Linux下的/dataset/路径下 2.把Linux中/dataset/路径下studentinfo文件上传到HDFS上 hdfs dfs -mkdir -p /dataset hdfs dfs -put studentinfo /dataset/ 3.使用hive或b...
sparksql使用hive元数据
qq_43670527的博客
01-09 489
一、若要把 Spark SQL 连接到一个部署好的 Hive 上，你必须把 hive-site.xml 复制到 Spark 的配置文件目录中($SPARK_HOME/conf)。 二、运行spark-sql的时候会报错 需要指定mysql驱动器位置 spark-sql --driver-class-path /home/hadoop/apps/hive/lib/mysql-connector-java-5.1.40-bin.jar 成功启动！ ...
元数据与数据治理｜Spark SQL结构化数据分析（第六篇）
十年呵护的专栏
01-08 2396
  数据科学家们早已熟悉的R和Pandas等传统数据分析框架 虽然提供了直观易用的API，却局限于单机，无法覆盖分布式大数据场景。在Spark1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrameAPI，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的API，而且自然而然地继承了SparkSQL的分布式处理能力。此外，S...
SPARK-SQL - catalog()操作数据库，表等相关的元信息
小哇
08-11 2032
import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; import org.apache.spark.sql.catalog.Database; import org.apache.spark.sql.catalog.Table; public class test18 { public static void main(Str.
spark指定hive字段_Spark （十一） spark使用hive的元数据信息
weixin_39677106的博客
02-04 322
正文一，简介跟hive没太的关系，就是使用了hive的标准(HQL， 元数据库、UDF、序列化、反序列化机制)。Hive On Spark 使用RDD(DataFrame)，然后运行在spark 集群上。二，shell方式配置和使用hive元数据信息2.1文件配置配置和hive的配置一致，所以只需要我们把hive的配置文件hive-site.xml拷贝到一份到spark的conf目录下就可以。命...
Spark Streaming
2301_77836489的博客
07-19 283
Spark Streaming
spark shell
最新发布
m0_74934794的博客
07-19 158
2.1.1读取linux文件系统的文件创建RDD。2.1.2读取hdfs文件系统上的文件创建RDD。--需要保证每一个worker中都有该文件。--过滤数据,保留每行中含有hello的数据。2.2使用Parallelize创建RDD。2.3从其他的RDD中创建新的RDD。--对RDD中的数据进行过滤操作。--统计RDD中的数据记录表。2.1 读取文件创建RDD。--读取RDD的第一条数据。4.实现wordcount。1.进行shell命令行。3.对RDD进行操作。--读取中的N条数据。
spark-sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
03-16
Spark SQL可以与Hive整合，以便在Spark SQL命令和Spark Shell命令下执行SQL命令和调用Hive。要实现这一点，需要在Spark配置中设置以下属性： 1. spark.sql.catalogImplementation=hive 2. spark.sql.warehouse.dir=hdfs://<hive_warehouse_directory> 这些属性告诉Spark使用Hive作为其元数据存储，并指定Hive仓库目录的位置。 在Spark SQL命令下执行SQL命令时，可以使用以下语法： ``` spark-sql> SELECT * FROM <database_name>.<table_name>; ``` 在Spark Shell命令下执行SQL命令时，可以使用以下语法： ``` spark.sql("SELECT * FROM <database_name>.<table_name>").show() ``` 要调用Hive，可以使用以下语法： ``` spark.sql("CREATE TABLE <table_name> (col1 INT, col2 STRING) USING hive") ``` 这将在Hive中创建一个新表。可以使用类似的语法来执行其他Hive操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值