hive on spark入门安装(hive2.0、spark1.5)

最新推荐文章于 2023-10-30 23:07:16 发布
最新推荐文章于 2023-10-30 23:07:16 发布
阅读量8.8k 收藏 7
点赞数 2
分类专栏： hive-sql on hadoop技术 文章标签： hive spark hivespark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dante_003/article/details/54944399
版权

简介

hive on spark安装，hive是基于hadoop的数据仓库，hdfs为hive存储空间，mapreduce为hive的sql计算引擎。但是由于mapreduce很多计算过程都要经过硬盘读写等劣势，和spark等计算引擎相比，无论是计算速度，还是计算灵活度上都有很多劣势，这也导致了hive on mapreduce计算速度并不是令人很满意。本篇来讲下hive on spark，将hive的计算引擎替换为spark，速度将有很大的提升.

环境

centos6
hadoop2.6集群，需要hdfs、yarn
hive2.0.0
spark1.5源码
maven3.3（自行安装）
jdk1.7（自行安装）
scala2.10（自行安装）

安装配置

注意：安装时需要注意几个组件的安装节点。
例如我的机器环境
node21
hdfs:namenode,secondarynode,datanode
yarn:resourcemanager,nodemanager
hive
spark
node22
hdfs:datanode
yarn:nodemanager
node23
hdfs:datanode
yarn:nodemanager
以上hadoop中的hdfs和yarn安装后（我的机器不多将主节点也当datanode和nodemanager了）。
hive和spark必须在一个节点上。因为hive要用spark客户端来启动服务。
hive和spark必须要在hadoop的其中一个节点上。因为hive是一定要依赖hdfs的，hive启动的时候要拿环境变量HADOOP_HOME去拿hdfs相关文件，根据spark的启动模式yarn、standalone、mesos来选择是否去拿yarn配置文件，本文用的yarn的启动模式，其它几种模式大家也可以试试。
如果用yarn部署模式不用每台机器都部署hive和spark，hive只是单个服务，不用部署多个，他只存逻辑表的元信息，接收sql任务，翻译成相应的spark任务并执行。用yarn部署模式的话，hive启动spark任务的时候会将spark-assmebly包上传到hdfs上，yarn根据哪些节点启动了spark任务，这些节点自动去hdfs上下载，所以不用每台机器都部署spark，部署了yarn启动时也不用。
下面的安装过程是先安装hadoop集群（hdfs和yarn），然后在namenode上面部署了spark和hive并配置相关配置文件。

安装参考官网
https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

1.hadoop

1.1.hadoop2.6集群安装略

参考 http://blog.csdn.net/dante_003/article/details/54943774

2.spark

2.1.spark编译

预编译好的spark是不能部署hive on spark的，因为spark里面默认打入了hive的包（sparksql以及sqlcontext这些都是基于hive做的），spark里面的hive版本和我们安装的hive版本不一样，而且spark里面的hive是被修改过的，所以要将spark里面的hive包给去掉（同理，去掉hive的spark客户端就不能运行sparksql和sqlcontext了），否则执行时会报错。
从github的地址上下载spark的源码https://github.com/apache/spark/tree/branch-1.5
我从spark官网上下载的1.5源码编译报错
下载完成后进入源码根目录执行下面命令，编译时需要用到scala2.10（scala版本要对应，有的反应版本不对编译错误或编译出来的有问题）、jdk1.7、maven3.3

2.0版本之前编译
./make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"


2.0版本之后编译
./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided"

编译刚开始应该是在扫描文件，会等几分钟才开始编译，不要认为编译失败卡住了，耐心等待，整个编译过程大约几个小时，主要是要下很多maven包。有资源的朋友可以用vpn或者在aws的ec2上编译。
当出现build success时，说明编译成功，切在根目录里面多出了一个tar.gz包spark-1.5.3-SNAPSHOT-bin-hadoop2-without-hive.tgz

2.2spark部署

将上一部编译成功的tar.gz包解压到你安装的文件夹。

tar xzvf spark-1.5.3-SNAPSHOT-bin-hadoop2-without-hive.tgz -C /opt
cd /opt
mv spark-1.5.3-SNAPSHOT-bin-hadoop2-without-hive spark

配置环境变量

export SPARK_HOME=/opt/spark
source /etc/profile
2.3spark配置
  • spark-env.sh
export JAVA_HOME=/opt/java/jdk
export SCALA_HOME=/opt/scala
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_WORKER_MEMORY=1g
export SPARK_DRIVER_MEMORY=1g
export SPARK_MASTER_IP=192.168.1.21
export SPARK_LIBRARY_PATH=/opt/spark/lib
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_WORKER_DIR=/opt/spark/work
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
##下面这个参数不配置会说找不到相关jar包
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)
  • spark-defaults.conf
    配置spark启动的默认参数
spark.master yarn-cluster
spark.home /opt/spark
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.executor.memory 1g
spark.driver.memory 1g
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

3.hive

3.1.hive安装配置略

参考http://blog.csdn.net/dante_003/article/details/54944319

3.2.配置

  • 拷贝spark包到hive下面
    拷贝spark/lib/spark-assembly-1.5.3-SNAPSHOT-hadoop2.6.0.jar 到 hive/lib下面

  • hive-site.xml

      <!-- 元数据相关，存储在mysql，没有mysql驱动的要把mysql驱动拷贝到hive的lib下面  -->
        <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.1.82:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>password to use against metastore database</description>
    </property>
    <!--spark -->
    <property>
        <name>hive.execution.engine</name>
        <value>spark</value>
    </property>
    <property>
        <name>hive.enable.spark.execution.engine</name>
        <value>true</value>
    </property>
    <property>
        <name>spark.home</name>
        <value>/opt/spark</value>
    </property>
    <!--sparkcontext -->
    <property>
        <name>spark.master</name>
        <value>yarn-cluster</value>
    </property>
    <property>
        <name>spark.serializer</name>
        <value>org.apache.spark.serializer.KryoSerializer</value>
    </property>
    <property>
        <name>spark.executor.memeory</name>
        <value>1g</value>
    </property>
    <property>
        <name>spark.driver.memeory</name>
        <value>1g</value>
    </property>
    <property>
        <name>spark.executor.cores</name>
        <value>2</value>
    </property>
    <property>
        <name>spark.executor.instances</name>
        <value>4</value>
    </property>
    <property>
        <name>spark.app.name</name>
        <value>myInceptor</value>
    </property>
    <!--事务相关 -->
    <property>
        <name>hive.support.concurrency</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.enforce.bucketing</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
    </property>
    <property>
        <name>hive.txn.manager</name>
        <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
    </property>
    <property>
        <name>hive.compactor.initiator.on</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.compactor.worker.threads</name>
        <value>1</value>
    </property>
    <property>
        <name>spark.executor.extraJavaOptions</name>
        <value>-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
        </value>
    </property>
    <!--其它 -->
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value>
    </property>

启动

启动hadoop

hadoop/sbin/start-all.sh
查看相关web页面，保证hdfs和yarn都启动。

spark

spark不用启动，和hive在一个节点上就可以

启动hive

（也可以启动hiveserver2 通过beeline进入到hive，输入sql执行任务，启动hiveserver2参考http://blog.csdn.net/dante_003/article/details/54944319）
bin/hive
进入命令行模式，运行统计数量的命令
select count(*) from test;
第一次运行会比较慢，因为第一次hive要启动spark集群。
在yarn的页面里面可以看到hive在yarn上面启动了一个spark长服务
这里写图片描述
点击右侧的applicationmaster可以看到spark集群的信息
这里写图片描述
以上可以在hive里面运行其它sql，查看spark集群的执行情况。
hive on spark成功了。

码太狼
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
hive on spark 安装配置 详解
xiao__wangzi的博客
02-24 1433
hive on spark spark 安装配置 安装对应版本scala spark和scala的版本需要匹配，不然安装后启动会报错 官网下载源码包 http://spark.apache.org/downloads.html 其他版本可以去https://archive.apache.org/dist/spark/下载 解压后修改pom.xml中对应的scala、Hadoop版本 去dev/make-distribution.sh修改对应版本号，编译时会快一点 改为： 下载之后在pom.xml目录点击gi
hive on spark安装(hive2.3 spark2.1)
热门推荐
敲码的汉子
11-01 1万+
简介之前有写过hive on spark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。 spark2.0引入了spark session的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。安装步骤可参考官网ht
数仓4.0笔记——数仓环境搭建——Hive on Spark
zhangzhagn_的博客
07-22 860
数仓环境搭建——Hive on Spark 尚硅谷视频笔记
spark安装以及hive on spark和spark on hive 的配置
v15220的博客
06-07 3632
安装spark版本为已经编译好的spark-3.2.1-bin-hadoop3.2-scala2.13.tgz，其同样兼容hadoop-3.3.2； Hive on Spark(为hive配置spark引擎)：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Hive默认执行引擎是mapreduce,由于需频繁读取磁盘，效率比较低，Spark在内存中读取数据，所以总体来讲比MapReduce快很多（当然首次执行速度还是比较慢的） ..
Hive_on_Spark安装配置详解
京庐空间
03-14 757
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapR
Hive on Spark源码分析DOC
12-18
Hive on Spark源码分析，实际场景中会遇到需求：将Hive默认的执行引擎MapReduce换成Spark或者Tez。
Hive on Spark 离线数仓生成的原始数据
02-12
2024年1月11号-13号的数据，包含7-10号的历史业务数据
hive on spark mr 数据开发常见问题解决
11-20
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错，这些报错信息很多时间并没有形成汇总的知识库，每次遇到问题都会重复查资料，效率非常低 现在总结一些常见的知识库，方便大家...
大数据Spark纯净版安装包，用于快速集成Hive on Spark
最新发布
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
hive on spark配置经验
小五的博客
12-01 740
注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode就需要格式化（删除hadoop下的data logs文件夹执行hdfs namenode -format）常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive。hive-site.xml文件中需要配置两个与spark连接的配置文件，没配置，你能够从报错的日志中找到。至于版本问题我用的hive-3.1.2 spark3.0.0。
hive on spark（yarn）安装部署
weixin_43860247的博客
04-10 4620
〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
JIE的博客
10-30 4546
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
大数据最佳实践-hive on spark
program哲学
04-22 1178
目录Spark 内存配置spark动态分配Hive Spark 内存配置 yarn.nodemanager.resource.memory-mb = 100 GB yarn.nodemanager.resource.cpu-vcores = 28 < 机器核心数 yarn.scheduler.maximum-allocation-mb>(spark.yarn.executor.memoryOverhead+spark.executor.memory ) spark.executor.cores
Hive On Spark
难得糊涂
11-30 4908
序言 之前写的一篇Ⅰ.今天看了一下感觉有很多不完善和错误的地方.这里在写一篇[email protected] 两者可以结合一起看用于理解学习 Hive On Spark 这个意思是将Hive的执行引擎替换成spark. 默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎[email protected]) 既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spa.
hive on spark 部署
yang灬仔
04-29 2495
1. 环境 Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases hive默认使用mr作为计算引擎，当进入cli时会看到以上的提示信息，刚好有hive2.1.0，查了下pom文件，依赖了spark1.6.0，版本
Hive on Spark
weixin_42073629的博客
10-29 1440
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2104
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
Hive on Spark环境搭建
TH_NUM的博客
06-03 3034
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
Hive on Spark 和 Spark on Hive 区别
06-11
Hive on Spark 和 Spark on Hive 都是Hive和Spark两个大数据技术整合的方式，但是它们的实现方式和应用场景有所不同。 1. Hive on Spark：是指在Hive中使用Spark作为计算引擎来执行Hive的SQL查询。在这种模式下，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值