centos7配置hive与spark-sql交互

最新推荐文章于 2023-07-02 18:29:20 发布
最新推荐文章于 2023-07-02 18:29:20 发布
阅读量273 收藏 2
点赞数
分类专栏： 大数据平台搭建学习笔记（Hadoop生态圈） 文章标签： hive spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44912902/article/details/124743521
版权

1.配置hive-site.xml文件

原来的值

在这里插入图片描述
将<name>hive.metastore.schema.verification</name>的值改为false
<value>false</value>

2. hive中的hive-site.xml文件复制到spark/conf目录下

cp /opt/hive/conf/hive-site.xml /opt/spark/conf

3.将mysql驱动复制到spark/jars(lib)目录下

在这里插入图片描述

4.配置spark-env.sh文件

在末尾添加

export SPARK_CLASSPATH=/opt/spark/jars(lib)/mysql-connector-java-5.1.44-bin.jar

5. 修改spark/con/log4j.properties文件

将log4j.rootCategory=INFO, console中的INFO改为WARN

6. 启动hive的metastore服务

hive --service metastore &

在这里插入图片描述

7. 启动hive和spark-sql

在这里插入图片描述
在这里插入图片描述

8. hive与spark-sql数据库已经相互连接

Hive：

在这里插入图片描述

Spark-sql：

在这里插入图片描述

令人作呕的溏心蛋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CentOS-7-aarch64-Minimal-2009.iso
07-21
CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版之一。 CentOS Linux发行版是一个稳定的，可预测的，可管理的和可复现的平台，源于Red Hat Enterprise Linux（RHEL）依照开放源代码（大部分是GPL开源协议 ）规定释出的源码所编译而成。自2004年3月以来，CentOS Linux一直是社区驱动的开源项目，旨在与RHEL在功能上兼容。 CentOS-7-aarch64-Minimal-2009适用于ARM64 (aarch64)
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节
最新发布
hiliang521的博客
10-26 3019
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节
hive sql 和 spark sql的区别
热门推荐
MDJ_D2T的博客
10-18 2万+
要知道两种sql的区别，先要知道什么是hive，什么是spark 一、什么是hive，什么是spark （一）hive 1、hive在hadoop中承担了多种角色，每种角色承担特定的功能。 定语 角色 作用 优点 基于Hadoop的数仓工具 查询引擎 可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转化为MapReduce任务进行运行 学习成本低，可以通过类sql语句执行统计，不必开发专门的MapReduce应用 建立于Hadoop上的数据仓库基础架
Spark-SQL连接Hive 的五种方法
qq_53114527的博客
12-09 4492
Spark-SQL连接Hive 的五种方法
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2245
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
spark sql整合hive-重要
weixin_48370579的博客
07-17 827
spark sql整合hive 在spark sql中使用hive的元数据 spark sql是使用spark进行计算的，hive使用MR进行计算的 1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 cd /usr/local/soft/hive-1.2.1/conf/ <property> <nam...
Spark SQL与Hive SQL解析执行流程
承缘丶
10-07 1286
Spark SQL与Hive SQL解析执行流程记录
CentOS-7-aarch64-NetInstall-2009.iso
07-21
CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版之一。...CentOS-7-aarch64-NetInstall-2009适用于ARM64 (aarch64)
CentOS-7-aarch64-Everything-2009.part01.rar
07-22
CentOS 7.9版本（CentOS-7-aarch64-Everything-2009）适用于ARM64 (aarch64)，必须集齐9个文件才能一起解压缩使用，9个文件下载地址： CentOS-7-aarch64-Everything-2009.part09.rar ... CentOS-7-aarch64-Everything-...
CentOS-7-i386-Minimal-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
CentOS-7-i386-NetInstall-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
Spark SQL整合Hive
糊里糊涂走进大数据的小菜鸡
01-05 2742
文章目录1. Spark SQL整合Hive2. SparkSQL与Hive共用元数据2.1 开启Hive元数据服务2.1.1 修改hive配置2.1.2 启动hive元数据服务2.2 拷贝hive-site.xml和mysql驱动2.3 启动SparkSQL2.4 测试 1. Spark SQL整合Hive 为什么要进行整合？ 由于hive原生是基于MapReduce的，导致其查询耗时较长。 为了保留Hive的架构解决方案，并优化查询速度，采用SparkSql与hive整合(spark on hive)，
Spark SQL 与 Hive 的区别简介【学习笔记】
weixin_44196083的博客
06-16 1万+
一、什么是Spark SQL？ （官方定义） Spark SQL * A Spark module for structured data processing(known set of fields for each record - schema) ; 1. Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 ...
Spark SQL/Hive SQL
weixin_44644621的博客
10-08 1925
文章目录Spark SQL/Hive SQL与SQL的关系HSQL与普通SQL的区别数据类型 Spark SQL/Hive SQL与SQL的关系 SQL：Structured Query Language，用于对关系型数据库进行操作的标准化语言。不同数据库对应不同类型的SQL。 Spark SQL/Hive SQL：Spark使用的数据存储是Hive，因此Spark SQL即Hive SQL，具有其自身的一些标准和使用方法。 HSQL与普通SQL的区别 HSQL不支持等值链接，即不能省略join，如：
Spark连接Hive读取数据
m0_56210953的博客
08-12 4909
从Hadoop环境搭建到Spark连接Hive的小白入门教程，一套流程走下来在多次的尝试中既可以熟悉linux命令行的应用，同时初步熟悉大数据技术。
spark与hive，mysql交互
qq_47944580的博客
10-25 857
spark与hive，mysql交互
Spark&Hive互通
Nice789987的专栏
07-24 672
​目录 问题 配置 原理 问题 通过hive beeline进入后建的表与通过spark-sql进入建表互相不可见 配置 //变量位置：org.apache.hadoop.hive.metastore.conf.MetastoreConf.ConfVars#CATALOG_DEFAULT//默认值CATALOG_DEFAULT("metastore.catalog.default","metastore.catalog.default","hive", "T..
[Hadoop] 使用Spark SQL来访问Hive里面的数据
Cindy的博客
08-29 3233
1. 环境准备 1.1 安装Hive 1.2 安装Spark 1.3 拷贝hive的conf下的hive-site.xml到spark的conf目录下 [hadoop@hadoop000 ~]$ cd app/spark [hadoop@hadoop000 spark]$ cp ~/app/hive-1.1.0-cdh5.7.0/conf/hive-site.xml conf/ 1.4...
centos7配置spark集群
09-13
要在CentOS 7上配置Spark集群，您可以按照以下步骤进行操作： 步骤1：安装Java 首先，您需要在所有节点上安装Java。您可以使用以下命令安装OpenJDK 8： ``` sudo yum install java-1.8.0-openjdk-devel ``` 步骤2：设置主节点 选择一个节点作为主节点，并在其中执行以下操作： 1. 下载Spark二进制文件包： ``` wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz ``` 2. 解压文件： ``` tar xzf spark-3.1.2-bin-hadoop3.2.tgz ``` 3. 将Spark移动到适当的位置： ``` sudo mv spark-3.1.2-bin-hadoop3.2 /usr/local/spark ``` 4. 配置环境变量： 编辑`~/.bashrc`文件并添加以下行： ``` export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin export PYSPARK_PYTHON=python3 ``` 5. 使配置生效： ``` source ~/.bashrc ``` 步骤3：配置从节点 对于所有其他节点，请按照以下步骤进行操作： 1. 安装Java（如果尚未安装）： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Spark二进制文件包（与主节点相同）： ``` wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz ``` 3. 解压文件： ``` tar xzf spark-3.1.2-bin-hadoop3.2.tgz ``` 4. 将Spark移动到适当的位置： ``` sudo mv spark-3.1.2-bin-hadoop3.2 /usr/local/spark ``` 5. 配置环境变量（与主节点相同）。 步骤4：配置Spark集群 要配置Spark集群，请按照以下步骤进行操作： 1. 在主节点上，编辑`/usr/local/spark/conf/spark-env.sh`文件： ``` sudo vi /usr/local/spark/conf/spark-env.sh ``` 添加以下内容： ``` export SPARK_MASTER_HOST=<主节点的IP地址> export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_CONF_DIR=/etc/hadoop ``` 2. 在每个从节点上，编辑`/usr/local/spark/conf/spark-env.sh`文件： 将以下内容添加到文件末尾： ``` export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_CONF_DIR=/etc/hadoop ``` 步骤5：启动Spark集群 1. 在主节点上，启动Spark主节点： ``` /usr/local/spark/sbin/start-master.sh ``` 2. 在每个从节点上，启动Spark从节点： ``` /usr/local/spark/sbin/start-worker.sh <主节点的IP地址>:7077 ``` 现在您已经成功配置了Spark集群。您可以使用Spark的Web界面（通常在`http://<主节点的IP地址>:8080`上）来监视和管理集群。您还可以通过提交Spark应用程序来运行作业。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

令人作呕的溏心蛋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值