hive on spark

最新推荐文章于 2024-12-17 19:50:53 发布

宝罗

最新推荐文章于 2024-12-17 19:50:53 发布

阅读量372

点赞数

分类专栏： hive 文章标签： hive spark hadoop

本文链接：https://blog.csdn.net/hhhhhhhhhhsdadaw/article/details/121775328

版权

本文档详细介绍了在CentOS7环境下，如何配置和安装Hive 2.3.9、Hadoop 2.7.7和Spark 2.0.0，并实现Hive on Spark。内容包括Maven的安装、Hadoop的配置、Hive的安装、初始化元数据库，以及Spark编译和配置，最后讲解了如何将Spark的jar包拷贝到Hive和HDFS中，确保Hive使用Spark引擎进行计算。

摘要由CSDN通过智能技术生成

前置准备

CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive

首先先配置maven

Index of /dist/maven/maven-3

下载maven我下的是3.6.0版本

至少要3.1.3以上才能编译

同样解压到soft目录下

配置环境变量

spark底层用的还是scala代码所以顺便装上了scala 后来好像用不到scala所以可以不用装

vi /etc/profile

#meven enviroment
export MAVEN_HOME=/opt/soft/maven360
export PATH=$PATH:$MAVEN_HOME/bin

source /etc/profile

先创建本地仓库目录maven_repository 这里为了方便放在opt/soft目录下

mkdir maven_repository

修改Maven目录下conf目录的settings.xml文件

放在mirrors里边

<!-- 阿里云仓库 -->
<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

<!-- Java的JDK版本 -->
<profile>    
    <id>jdk-1.8</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <jdk>1.8</jdk>
    </activation>
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
    </properties>
</profile>

千万不要放错位置放错位置神也救不了你

输入mvn -version，如果能打印出版本信息，说明安装成功：