hive 和 spark版本之前有强对应关系
apache hive 和 spark 对应关系表
master | 2.3.0 |
---|---|
3.0.x | 2.3.0 |
2.3.x | 2.0.0 |
2.2.x | 1.6.0 |
2.1.x | 1.6.0 |
2.0.x | 1.5.0 |
1.2.x | 1.3.1 |
1.1.x | 1.2.0 |
cdh hive 和 spark对应关系
http://archive.cloudera.com/cdh5/cdh/5/
编译环境准备
下载scala 2.11版本
# 添加环境变量
vim /etc/profile
export SCALA_HOME=/root/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin
下载maven (3.3 版本以上)
# 添加环境变量
vim /etc/profile
export MAVEN_HOME=/root/apache-maven-3.5.3
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=2014M"
export PATH