hive on spark

前置准备

CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive

首先先配置maven

Index of /dist/maven/maven-3

下载maven我下的是3.6.0版本

至少要3.1.3以上才能编译

同样解压到soft目录下

 配置环境变量

spark底层用的还是scala代码 所以顺便装上了scala 后来好像用不到scala所以可以不用装

vi /etc/profile

#meven enviroment
export MAVEN_HOME=/opt/soft/maven360
export PATH=$PATH:$MAVEN_HOME/bin

 source /etc/profile

先创建本地仓库目录maven_repository 这里为了方便放在opt/soft目录下

mkdir maven_repository

 修改Maven目录下conf目录的settings.xml文件

放在mirrors里边

<!-- 阿里云仓库 -->
<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

 

 

<!-- Java的JDK版本 -->
<profile>    
    <id>jdk-1.8</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <jdk>1.8</jdk>
    </activation>
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
    </properties>
</profile>

 千万不要放错位置 放错位置神也救不了你

输入mvn -version，如果能打印出版本信息，说明安装成功：

hadoop 的安装

对应版本即可