软件测试最全Hive 整合 Spark 全教程 （Hive on Spark）(1)，软件测试应用开发基础大纲

于 2024-05-13 05:57:08 发布
阅读量650 收藏 10
点赞数 27
分类专栏： 程序员 文章标签： 单元测试 功能测试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84561420/article/details/138780410
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

export JAVA_HOME=/opt/module/jdk1.8.0_212
配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>Bigdata00:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>Bigdata00:19888</value>
</property>
配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://Bigdata00:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
启动集群

（1）如果集群是第一次启动，需要在Bigdata00节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[luanhao@Bigdata00 hadoop-3.1.3]$ bin/hdfs namenode -format

（2）启动HDFS

[luanhao@Bigdata00 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点启动YARN

[luanhao@Bigdata00 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的Web页面：http://bigdata00:9870

在这里插入图片描述

（5）Web端查看SecondaryNameNode :http://bigdata00:9868/status.html （单机模式下面什么都没有）

在这里插入图片描述

（6）Web端查看ResourceManager ：http://bigdata00:8088/cluster

在这里插入图片描述

LZO压缩配置

1）将编译好后的 hadoop-lzo-0.4.20.jar 放入 hadoop-3.1.3/share/hadoop/common/

[luanhao@Bigdata00 common]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/common
[luanhao@Bigdata00 common]$ ls
hadoop-lzo-0.4.20.jar

2）core-site.xml 增加配置支持 LZO 压缩

<configuration>
 <property>
 <name>io.compression.codecs</name>
 <value>
 org.apache.hadoop.io.compress.GzipCodec,
 org.apache.hadoop.io.compress.DefaultCodec,
 org.apache.hadoop.io.compress.BZip2Codec,
 org.apache.hadoop.io.compress.SnappyCodec,
 com.hadoop.compression.lzo.LzoCodec,
 com.hadoop.compression.lzo.LzopCodec
 </value>
 </property>
 <property>
 <name>io.compression.codec.lzo.class</name>
 <value>com.hadoop.compression.lzo.LzoCodec</value>
 </property>
</configuration>
Hadoop 3.x 端口号 总结

Hadoop 3.x后，应用的端口有所调整，如下：

分类应用Haddop 2.xHaddop 3.x
NNPortsNamenode80209820
NNPortsNN HTTP UI500709870
NNPortsNN HTTPS UI504709871
SNN portsSNN HTTP500919869
SNN portsSNN HTTP UI500909868
DN portsDN IPC500209867
DN portsDN500109866
DN portsDN HTTP UI500759864
DN portsNamenode504759865
YARN portsYARN UI80888088

MySQL准备

1）卸载自带的 Mysql-libs（如果之前安装过 mysql，要全都卸载掉）

[luanhao@Bigdata00 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

2）安装 mysql 依赖

[luanhao@Bigdata00 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
[luanhao@Bigdata00 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
[luanhao@Bigdata00 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

3）安装 mysql-client

[luanhao@Bigdata00 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

4）安装 mysql-server

[luanhao@Bigdata00 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

5）启动 mysql

[luanhao@Bigdata00 software]$ sudo systemctl start mysqld

6）查看 mysql 密码

[luanhao@Bigdata00 software]$ sudo cat /var/log/mysqld.log | grep password

配置只要是 root 用户+密码，在任何主机上都能登录 MySQL 数据库。

7）用刚刚查到的密码进入mysql（如果报错，给密码加单引号）

[luanhao@Bigdata00 software]$ mysql -uroot -p 'password'

8）设置复杂密码(由于 mysql 密码策略，此密码必须足够复杂)

mysql> set password=password("Qs23=zs32");

9）更改 mysql 密码策略

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;

10）设置简单好记的密码

mysql> set password=password("000000");

11）进入msyql 库

mysql> use mysql

12）查询 user 表

mysql> select user, host from user;

13）修改 user 表，把 Host 表内容修改为%

mysql> update user set host="%" where user="root";

14）刷新

mysql> flush privileges;

15）退出

mysql> quit;

Hive 准备

1）把 apache-hive-3.1.2-bin.tar.gz上传到 linux 的/opt/software 目录下

2）解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module目录下面

[luanhao@Bigdata00 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

3）修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive

[luanhao@Bigdata00 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4）修改/etc/profile，添加环境变量

[luanhao@Bigdata00 software]$ sudo vim /etc/profile
添加内容
#HIVE\_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE\_HOME/bin

重启 Xshell 对话框或者 source 一下 /etc/profile 文件，使环境变量生效

[luanhao@Bigdata00 software]$ source /etc/profile

5）解决日志 Jar 包冲突，进入/opt/module/hive/lib 目录（有冲突再做）

[luanhao@Bigdata00 lib]$ mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak

Hive 元数据配置到 MySQL

拷贝驱动

将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

[luanhao@Bigdata00 lib]$ cp /opt/software/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

配置 Metastore 到 MySQL

在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件

[luanhao@Bigdata00 conf]$ vim hive-site.xml

添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
 	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://Bigdata00:3306/metastore?useSSL=false</value>
 </property>
 <property>
 	<name>javax.jdo.option.ConnectionDriverName</name>
 	<value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 	<name>javax.jdo.option.ConnectionUserName</name>
 	<value>root</value>
 </property>
 <property>
	 <name>javax.jdo.option.ConnectionPassword</name>
 	 <value>000000</value>
 </property>
 <property>
 	<name>hive.metastore.warehouse.dir</name>
 	<value>/user/hive/warehouse</value>
 </property>
 <property>
 	<name>hive.metastore.schema.verification</name>
 	<value>false</value>
 </property>
 <property>
 	<name>hive.server2.thrift.port</name>
 	<value>10000</value>
 </property>
 <property>
 	<name>hive.server2.thrift.bind.host</name>
 	<value>Bigdata00</value>
 </property>
 <property>
	<name>hive.metastore.event.db.notification.api.auth</name>
 	<value>false</value>
 </property>
 
 <property>
 	<name>hive.cli.print.header</name>
 	<value>true</value>
 </property>
 <property>
 	<name>hive.cli.print.current.db</name>
 	<value>true</value>
 </property>

</configuration>

启动 Hive

初始化元数据库

1）登陆MySQL

[luanhao@Bigdata00 conf]$ mysql -uroot -p000000

2）新建 Hive 元数据库

mysql> create database metastore;
mysql> quit;

3）初始化 Hive 元数据库

[luanhao@Bigdata00 conf]$ schematool -initSchema -dbType mysql -verbose

启动 hive 客户端

1）启动 Hive 客户端

[luanhao@Bigdata00 hive]$ bin/hive

2）查看一下数据库

hive (default)> show databases;
OK
database_name
default

Spark 准备

（1）Spark 官网下载 jar 包地址：

http://spark.apache.org/downloads.html

（2）上传并解压解压 spark-3.0.0-bin-hadoop3.2.tgz

[luanhao@Bigdata00 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/ 
[luanhao@Bigdata00 software]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark

（3）配置 SPARK_HOME 环境变量

[luanhao@Bigdata00 software]$ sudo vim /etc/profile
添加如下内容
# SPARK\_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK\_HOME/bin

source 使其生效

[luanhao@Bigdata00 software]$ source /etc/profile

（4）在hive 中创建 spark 配置文件

[luanhao@Bigdata00 software]$ vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容（在执行任务时，会根据如下参数执行）

spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://Bigdata00:8020/spark-history
spark.executor.memory 1g 
spark.driver.memory 1g

在 HDFS 创建如下路径，用于存储历史日志

[luanhao@Bigdata00 software]$ hadoop fs -mkdir /spark-history

（5）向 HDFS 上传 Spark 纯净版 jar 包

说明 1：由于 Spark3.0.0 非纯净版默认支持的是 hive2.3.7 版本，直接使用会和安装的Hive3.1.2 出现兼容性问题。所以采用 Spark 纯净版 jar 包，不包含 hadoop 和 hive 相关依赖，避免冲突。

说明 2：Hive 任务最终由 Spark 来执行，Spark 任务资源分配由 Yarn 来调度，该任务有可能被分配到集群的任何一个节点。所以需要将 Spark 的依赖上传到 HDFS 集群路径，这样集群中任何一个节点都能获取到。

（6）上传并解压 spark-3.0.0-bin-without-hadoop.tgz

[luanhao@Bigdata00 software]$ tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz

（7）上传 Spark 纯净版 jar 包到 HDFS

[luanhao@Bigdata00 software]$ hadoop fs -mkdir /spark-jars
[luanhao@Bigdata00 software]$ hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars

Hive on Spark 配置

修改 hive-site.xml 文件

[luanhao@Bigdata00 ~]$ vim /opt/module/hive/conf/hive-site.xml

添加如下内容
<!--Spark 依赖位置（注意：端口号 8020 必须和 namenode 的端口号一致）-->
<property>
 	<name>spark.yarn.jars</name>
 	<value>hdfs://Bigdata00:8020/spark-jars/*</value>
</property>
 
<!--Hive 执行引擎-->
<property>
 	<name>hive.execution.engine</name>
 	<value>spark</value>
</property>
<!--Hive 和 Spark 连接超时时间-->
<property>
 	<name>hive.spark.client.connect.timeout</name>
 	<value>10000ms</value>
</property>

hadoop 3.1.3 默认 NameNode 端口是 9820 重新在hadoop 下的 core-site.xml 将 9820 修改成 8020 就可以了

core-site.xml

<!-- 指定NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://Bigdata00:8020</value>
</property>

在这里插入图片描述

注意：hive.spark.client.connect.timeout 的默认值是 1000ms，如果执行 hive 的 insert 语句时，抛如下异常，可以调大该参数到 10000ms

FAILED: SemanticException Failed to get a spark session: 
org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark 
client for Spark session d9e0224c-3d14-4bf4-95bc-ee3ec56df48e

1）兼容性说明

注意：官网下载的 Hive3.1.2 和 Spark3.0.0 默认是不兼容的。因为 Hive3.1.2 支持的 Spark版本是 2.4.5，所以需要我们重新编译 Hive3.1.2 版本。

编译步骤：官网下载 Hive3.1.2 源码，修改 pom 文件中引用的 Spark 版本为 3.0.0，如果编译通过，直接打包获取 jar 包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取 jar 包。

Hive on Spark仅使用特定版本的Spark进行测试，因此只能确保给定版本的Hive与特定版本的Spark一起使用。其他版本的Spark可能与给定版本的Hive一起使用，但这不能保证。下面是Hive版本列表及其相应的兼容Spark版本。

Hive VersionSpark Version
master2.3.0
3.0.x2.3.0
2.3.x2.0.0
2.2.x1.6.0
2.1.x1.6.0
2.0.x1.5.0
1.2.x1.3.1
1.1.x1.2.0

2）在 Hive 所在节点部署 Spark

如果之前已经部署了 Spark，则该步骤可以跳过，但要检查 SPARK_HOME 的环境变量配置是否正确。

Hive on Spark测试

（1）启动 hive 客户端

[luanhao@Bigdata00 hive]$ bin/hive

（2）创建一张测试表

hive (default)> create table huanhuan(id int, name string);

建表之后查看表发现报错，此时排障，我们忘了将 hadoop-lzo-0.4.20.jar 放到 /opt/module/hadoop-3.1.3/share/hadoop/common/ 目录下，

hive (default)> show tables;
OK
tab_name
Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object

这时重新启动集群，并且启动hive 发现已经将huanhuan表展示出来了。

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

（2）创建一张测试表

hive (default)> create table huanhuan(id int, name string);

建表之后查看表发现报错，此时排障，我们忘了将 hadoop-lzo-0.4.20.jar 放到 /opt/module/hadoop-3.1.3/share/hadoop/common/ 目录下，

hive (default)> show tables;
OK
tab_name
Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object

这时重新启动集群，并且启动hive 发现已经将huanhuan表展示出来了。

[外链图片转存中…(img-uXPU1p8s-1715551005666)]
[外链图片转存中…(img-7HkgImsl-1715551005667)]
[外链图片转存中…(img-AZvE64fl-1715551005667)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

2401_84561420
关注
  • 27
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark集成HIVE
zhengzaifeidelushang的博客
08-13 609
Spark集成HIVE一、安装Hadoop、Spark、Hive二、hive-site.xml文件拷贝到spark的conf目录下三、spark-env.sh中添加hive配置四、spark添加mysql驱动五、启动spark-sql 一、安装Hadoop、Spark、Hive Hive-3.1.2安装部署 Spark3 on Yarn分布式集群安装部署(YARN模式) Hadoop3高可用(HA)分布式集群搭建 Spark SQL报错：The specified datastore driver (“c
Hive和Spark的几种集成方式
weixin_51104399的博客
11-18 1272
Spark with Hive、Hive on Spark、Spark on yarn
2024年软件测试最新Hive 整合 Spark 全教程 （Hive on Spark），转疯了
最新发布
2301_82244158的博客
05-05 298
分类应用Haddop 2.xHaddop 3.xNNPortsNamenode80209820NNPortsNN HTTP UI500709870NNPorts504709871SNN portsSNN HTTP500919869SNN ports500909868DN portsDN IPC500209867DN portsDN500109866DN portsDN HTTP UI500759864DN portsNamenode。
spark与hive的集成
weixin_30505225的博客
09-05 804
一：介绍 1.在spark编译时支持hive 　　 2.默认的db 　　当Spark在编译的时候给定了hive的支持参数，但是没有配置和hive的集成，此时默认使用hive自带的元数据管理:Derby数据库。 　　 二：具体集成　 1.将hive的配合文件hive-site.xml添加到spark应用的classpath中（相当于拷贝） 　　 2.第二步集成 　　根据hive的...
HiveOnSpark集成
qq_32207237的博客
07-29 266
Hive On Spark 集成 大多数情况下Hive On Spark 是无法使用Spark官方版本给定的编译成功的包的，因为里面对应的hadoop版本与生产环境的版本是无法匹配的，这就需要对spark源码进行重新编译。 使用版本 spark-2.3 hive-3.12 hadoop-3.2 spark下载下来的源码包的目录结构如下： 下面进行编译的步骤 更改打包文件 spark 的打包主要依赖dev/make-distribution.sh 这个文件，打开后首先更改其maven地址，当然这一步只是
Hive 整合 Spark 全教程 （Hive on Spark），2024年最新2024最新阿里软件测试高级面试题总结
2401_84252932的博客
04-13 970
分类应用Haddop 2.xHaddop 3.xNNPortsNamenode80209820NNPortsNN HTTP UI500709870NNPorts504709871SNN portsSNN HTTP500919869SNN ports500909868DN portsDN IPC500209867DN portsDN500109866DN portsDN HTTP UI500759864DN portsNamenode。
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1335
hive on spark的整合配置及具体实现文档
Spark 集成 Hive
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
04-14 8864
Hive查询流程及原理 执行HQL时，先到MySQL元数据库中查找描述信息，然后解析HQL并根据描述信息生成MR任务 Hive将SQL转成MapReduce执行速度慢 使用SparkSQL整合Hive其实就是让SparkSQL去加载Hive 的元数据库，然后通过SparkSQL执行引擎去操作Hive表内的数据 所以首先需要开启Hive的元数据库服务，让SparkSQL能够加载元数...
118.Hive与Spark的集成
大勇若怯任卷舒
08-23 529
【代码】118.Hive与Spark的集成。
Spark和Hive的结合（让hive基于spark计算）
01-07
spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml        javax.jdo.option.ConnectionURL     jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true     JDBC connect string for a JDBC metastore              javax.jdo.option.ConnectionDriverName     com.mysql.jdbc.Driver     Driver
hive集成spark和mysql
机器学习算法
04-14 1610
参考：http://ihoge.cn/2018/HiveSpark.html 一、Hive安装 1.Hive简介 ​ Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 ​ Hive是一个可以提供有效的、合理的且直观的组织和使用...
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2404
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
【hadoop | hive】hive on spark教程
pingyufeng的博客
08-08 1352
hive on spark教程
Spark SQL 与Hive集成
蔡政洁的博客
09-23 1149
目录一、Spark SQL 与Hive集成(spark-shell)（1）添加配置项目（2）启动服务（3）数据测试（4）将数据集写入到MySQL二、Spark SQL 与Hive集成(spark-sql) 一、Spark SQL 与Hive集成(spark-shell) （1）添加配置项目 第一步： 拷贝hive的配置文件hive-site.xml到spark的conf的目录下 cp hive-site.xml /opt/Hadoop/spark/conf 第二步： 添加hive-site.xml中met
2.4-2.5、Hive整合（整合Spark、整合Hbase）、连接方式Cli、HiveServer和hivemetastore、Squirrel SQL Client等
涂作权的博客
01-15 1090
2.4其它整合 2.4.1Hive整合Spark Spark整合hive，需要将hive_home下的conf下的hive_site.xml放到spark_home下的conf目录下。（3台服务器都做相同的配置） [root@bigdata2 spark-2.3.0-bin-hadoop2.7]# cd $HIVE_HOME/conf [root@bigdata2 conf]# cp hive...
spark集成hive spark sql编程（forty-eight day）
ZJX103RLF的博客
05-13 410
spark集成hive ------------------------ 1.创建hive-site.xml软连接到spark/conf下 $>xcall.sh "ln -s /soft/hive/conf/hive-site.xml /soft/spark/conf/hive-site.xml" 2.mysql驱动程序复制到spark/jars ...
Spark SQL 集成Hive（一）
xiaohu21的博客
10-08 690
Spark SQL 集成Hive（一） 1. 背景 Hive可以看做是一个转换器，将SQL转换为mapreduce或者spark程序 Spark SQL也可以看成一个转换器，将SQL转换为spark程序 Hive集成Spark SQL有几种集成方式，一种是直接使用Spark SQL替代Hive，SQL是Spark SQL，程序转换也是Spark 程序，唯一有关联的就是一个hive-site.xml配置文件。本文讲述的就是第一种 另外一种集成方式就是SQL还是hive，但执行引擎变成了Spark。 2.
SparkSQL与Hive集成
liangzelei的博客
06-08 763
1、使用内置的Hive  【hive1.2.1】      1、注意：如果发现master节点有 matestore_db出现，删除， 然后，启动客户端  配置：            bin/spark-shell --master spark://master01:7077                                      --conf spark.sql.wareho...
Ubuntu 14.04上编译Spark以支持Hive on Spark (1.4.0版)的实施教程
本文档是关于在Ubuntu 14.04操作系统环境下，针对Hive on Spark实施过程中遇到的问题进行的编译和配置指南。主要关注点在于如何解决Spark与Hive之间的jar包冲突，以确保Spark可以支持从Hive中读取数据。 首先，文章...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值