Hive On Spark搭建(cdh)

hive 和 spark版本之前有强对应关系

apache hive 和 spark 对应关系表

master	2.3.0
3.0.x	2.3.0
2.3.x	2.0.0
2.2.x	1.6.0
2.1.x	1.6.0
2.0.x	1.5.0
1.2.x	1.3.1
1.1.x	1.2.0

cdh hive 和 spark对应关系

http://archive.cloudera.com/cdh5/cdh/5/

编译环境准备

下载scala 2.11版本

下载地址

# 添加环境变量
vim /etc/profile
export SCALA_HOME=/root/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin

下载maven (3.3 版本以上)

下载地址

# 添加环境变量
vim /etc/profile
export MAVEN_HOME=/root/apache-maven-3.5.3
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=2014M"
export PATH