hive3.1.3 on Sprak3.0.3 源码编译

已于 2023-01-15 00:03:38 修改
阅读量1.1k 收藏 1
点赞数 1
文章标签： hive hadoop 数据仓库
于 2023-01-14 17:25:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38906364/article/details/128687090
版权

源码编译

在这里插入图片描述

1、下载源码、解压源码，先不改动。执行次编译（直接编译成功）

修改 maven setting 添加 几个镜像

    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>


    <mirror>
        <id>aliyunmaven</id>
        <mirrorOf>*</mirrorOf>
        <name>spring-plugin</name>
        <url>https://maven.aliyun.com/repository/spring-plugin</url>
    </mirror>

    <mirror>
        <id>aliyunmaven</id>
        <mirrorOf>*</mirrorOf>
        <name>阿里云公共仓库</name>
        <url>https://maven.aliyun.com/repository/public</url>
    </mirror>

    <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*,!cloudera</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

执行编译 ： mvn clean package -Pdist -DskipTests -Dmaven.javadoc.skip=true

二、修改pom包中 依赖

<spark.version>3.0.0</spark.version>
<scala.binary.version>2.12</scala.binary.version>
<scala.version>2.12.10</scala.version>
<guava.version>27.0-jre</guava.version>

三、修改官网提供的源码中，更改了guava 和 spark后需要更改的文件

参考： https://github.com/gitlbo/hive/commits/3.1.2

四、最后在 /opt/apache-hive-3.1.3-src/packaging 会生成target目录。为编译后的包

遇到问题集合

1、Failed to execute goal on project hive-upgrade-acid: Could not resolve dependencies for project org.apache.hive:hive-upgrade-acid:jar:3.1.3: Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde in aliyun-maven (http://maven.aliyun.com/nexus/content/groups/public) -> [Help 1]

<mirror>
        <id>aliyunmaven</id>
        <mirrorOf>*</mirrorOf>
        <name>spring-plugin</name>
        <url>https://maven.aliyun.com/repository/spring-plugin</url>
    </mirror>
    
    <mirror>
    <id>aliyunmaven</id>
    <mirrorOf>*</mirrorOf>
    <name>阿里云公共仓库</name>
    <url>https://maven.aliyun.com/repository/public</url>
    </mirror>
 
    <mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*,!cloudera</mirrorOf>
    <name>Nexus aliyun</name> 
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

2、[ERROR] Failed to execute goal on project hive-shims-common: Could not resolve dependencies for project org.apache.hive.shims:hive-shims-common:jar:3.1.3: The following artifacts could not be resolved: org.apache.logging.log4j:log4j-slf4j-impl:jar:2.17.1, org.apache.hadoop:hadoop-client:jar:3.1.0, commons-codec:commons-codec:jar:1.15: Could not find artifact org.apache.logging.log4j:log4j-slf4j-impl:jar:2.17.1 in aliyunmaven (https://maven.aliyun.com/repository/spring-plugin) -> [Help 1]

https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-slf4j-impl/2.17.1
手动去下载然后放进去

3、[ERROR] Failed to execute goal on project hive-shims-common: Could not resolve dependencies for project org.apache.hive.shims:hive-shims-common:jar:3.1.3: The following artifacts could not be resolved: org.apache.hadoop:hadoop-client:jar:3.1.0, commons-codec:commons-codec:jar:1.15: Failure to find org.apache.hadoop:hadoop-client:jar:3.1.0 in https://maven.aliyun.com/repository/spring-plugin was cached in the local repository, resolution will not be reattempted until the update interval of aliyunmaven has elapsed or updates are forced -> [Help 1]

https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client/3.1.0

4、[ERROR] Failed to execute goal on project hive-shims-common: Could not resolve dependencies for project org.apache.hive.shims:hive-shims-common:jar:3.1.3: Failure to find commons-codec:commons-codec:jar:1.15 in https://maven.aliyun.com/repository/spring-plugin was cached in the local repository, resolution will not be reattempted until the update interval of aliyunmaven has elapsed or updates are forced -> [Help 1]

https://mvnrepository.com/artifact/commons-codec/commons-codec/1.15

5、
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.6.1:compile (default-compile) on project hive-shims-common: Compilation failure: Compilation failure:
[ERROR] error reading /root/.m2/repository/org/apache/httpcomponents/httpcore/4.4.13/httpcore-4.4.13.jar; error in opening zip file
[ERROR] error reading /root/.m2/repository/org/apache/httpcomponents/httpcore/4.4.13/httpcore-4.4.13.jar; error in opening zip file
[ERROR] /opt/apache-hive-3.1.3-src/shims/common/src/main/java/org/apache/hadoop/hive/io/HiveIOExceptionHandler.java:[23,32] package org.apache.hadoop.mapred does not exist
[ERROR] /opt/apache-hive-3.1.3-src/shims/common/src/main/java/org/apache/hadoop/hive/io/HiveIOExceptionHandler.java:[24,32] package org.apache.hadoop.mapred does not exist
[ERROR] /opt/apache-hive-3.1.3-src/shims/common/src/main/java/org/apache/hadoop/hive/io/HiveIOExceptionHandler.java:[39,10] cannot find symbol
[ERROR] symbol: class RecordReader
[ERROR] location: interface org.apache.hadoop.hive.io.HiveIOExceptionHandler
[ERROR] /opt/apache-hive-3.1.3-src/shims/common/src/main/java/org/apache/hadoop/hive/thrift/client/TUGIAssumingTransport.java:[25,34] cannot find symbol
[ERROR] symbol: class UserGroupInformation
[ERROR] location: package org.apache.hadoop.security
[ERROR] /opt/apache-hive-3.1.3-src/shims/common/src/main/java/org/apache/hadoop/hive/thrift/client/TUGIAssumingTransport.java:[39,14] cannot find symbol
[ERROR] -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoFailureException
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR] mvn -rf :hive-shims-common

在不修改源码情况下编译一次，这个错就不出现了

6、[ERROR] error reading /root/.m2/repository/org/apache/httpcomponents/httpcore/4.4.13/httpcore-4.4.13.jar; error in opening zip file
[ERROR] error reading /root/.m2/repository/org/apache/httpcomponents/httpcore/4.4.13/httpcore-4.4.13.jar; error in opening zip file
https://mvnrepository.com/artifact/org.apache.httpcomponents/httpcore/4.4.13
重新下载放进去
7、[ERROR] Failed to execute goal on project hive-spark-client: Could not resolve dependencies for project org.apache.hive:hive-spark-client:jar:3.1.3: Could not transfer artifact org.apache.spark:spark-core_2.12:jar:3.0.3 from/to alimaven (http://maven.aliyun.com/nexus/content/groups/public/): GET request of: org/apache/spark/spark-core_2.12/3.0.3/spark-core_2.12-3.0.3.jar from alimaven failed: Tag mismatch! -> [Help 1]

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.12/3.0.3

8、[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.6.1:compile (default-compile) on project hive-druid-handler: Compilation failure
[ERROR] /opt/apache-hive-3.1.3-src/druid-handler/src/java/org/apache/hadoop/hive/druid/security/KerberosHttpClient.java:[63,56] cannot access com.google.common.util.concurrent.internal.InternalFutureFailureAccess
[ERROR] class file for com.google.common.util.concurrent.internal.InternalFutureFailureAccess not found
[ERROR]
[ERROR] -> [Help 1]

<properties>
  <hive.path.to.root>..</hive.path.to.root>
  <druid.metamx.util.version>1.3.2</druid.metamx.util.version>
  <druid.guava.version>16.0.1</druid.guava.version>
</properties>

修改 druid-handler 模块下的pom文件的 guava版本为 最外层pom的版本
简维旅者
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
hive3.x编译spark3.x包
06-07
补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
hive修改spark版本重新编译，hive3.1.3 on spark3.3.0
qq_39035267的博客
08-30 3698
hive修改spark版本重新编译，hive3.1.3 on spark3.3.0
Hive on Spark 搭建过程(hvie-3.1.2 spark-2.4.5 hadoop-3.1.3)
TMH_ITBOY的博客
01-17 4193
Hive On Spark 官方教程 注意，一般来说hive版本需要与spark版本对应，官网有给出对应版本。这里使用的hive版本，spark版本，hadoop版本都没有使用官方推荐。 下载Spark 源码，以spark-2.4.4 为例。 编译Spark 源码。 编译时选择hadoop版本，可选的有hadoop2.7.3和 hadoop2.6的，我要使用2.8.5，所以修改pom文件...
Hive3.1.3编译缺失 hive-upgrade-acid-3.1.3.jar和pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
2401_82636224的博客
02-20 166
hive-3.1.3编译缺失jar包
为何需要重新编译过的hive
m0_52964127的博客
12-17 421
文章目录前言一、为何需要这个安装包？二、使用步骤1.下载下方重新编译过的安装包。2.替换新的安装包后，后续继续解压安装即可。3.安装好后可按如下命令查看hive兼容的spark总结 前言 大数据生态各个组件之间存在兼容性问题，假如您想从事大数据开发相关工作，那么后续很有可能会做离线数仓的项目，而在搭建数仓环境时会用到spark,听不懂没关系，学了就知道了，此处只是简单说明为何直接用这个版本的安装包，到时你就会发现不用重新再安装一遍hive了。 一、为何需要这个安装包？ 后续在做sgg离线数仓项目时,需
Hive 3.1.3 编译出错 ldap-client-api:jar:0.1-SNAPSHOT 获取不到
SmartSi
12-18 340
顶层中存在一个 org.apache.directory.client.ldap:ldap-client-api，使用的是 0.1 版本，但 org.apache.directory.server:apacheds-server-integ 中也存在一个 org.apache.directory.client.ldap:ldap-client-api，版本为 0.1-SNAPSHOT，并且因为编译时找不到而失败。这个问题在 4.0.0-alpha-1 得到解决，具体可以查看。
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
okkkay的博客
06-07 1596
一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~
Could not resolve dependencies for project
budaoweng0609的博客
03-10 9254
Could not resolve dependencies for project
从源代码编译构建Hive3.1.3
积跬步，至千里。
08-11 1290
在某些特定情况下，可能需要从源代码编译Hive，而不是使用预编译的安装包。本文记录从源代码编译构建Hive3.1.3的整个过程。
Hive 3.1.2 编译
c123m的专栏
09-30 958
Hive3使用Spark3编译
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高...
hive-jdbc3.1.3
08-22
argodb亲测可是使用hive驱动包，国产argodb的没有什么资料，当时使用的hive的一套语法，我还发布了其他版本的jdbc包，可以查看其他资源
Apache Hive（apache-hive-3.1.3-bin.tar.gz）
04-26
Apache Hive（apache-hive-3.1.3-bin.tar.gz、apache-hive-3.1.3-src.tar.gz）是一种分布式容错数据仓库系统，支持大规模分析，并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...
编译hive源码-UDF函数
01-20
文章目录hive源码下载地址解压源码包配置pom文件编辑源码编辑UDF函数注册UDF函数编译hive部署编译后的hive包1. 重新部署hive2. 修改原hive hive源码下载地址 hive版本：hive-1.1.0-cdh5.7.0 百度网盘：链接：...
大数据Hive中的UDF：自定义数据处理的利器（上）
孙中明
04-21 1067
在大数据技术栈中，扮演着数据仓库的关键角色，它提供了丰富的数据操作功能，并通过类似于SQL的HiveQL语言简化了对Hadoop数据的处理。然而，内置函数库虽强大，却未必能满足所有特定的业务逻辑需求。此时，用户定义函数（UDF）的重要性便凸显出来。Hive UDF）是Hive中的一种扩展机制，它允许用户通过编写自定义的Java代码来扩展Hive的功能，实现Hive内置函数无法提供的一些特定数据处理逻辑。在深入探讨Hive UDF的实现之前，让我们首先确保开发环境的准备妥当。对于UDF的编写，推荐使用。
解决hive表新增的字段查询为空null问题
weixin_42326851的博客
04-19 983
解决hive表新增的字段查询为空null问题
SpringMVC基础篇（四）
最新发布
Sun的个人博客
04-25 807
点击跳转到自定义视图解析器
Spark集群配置Hive
qq_58503141的博客
04-22 347
配置hive
shell 实现对Hive表字段脱敏写入新表
weixin_46028840的博客
04-22 244
数据安全管理，本shell 实现对hive源表敏感字段进行md5加密，然后写入新表；备注：仅供参考，可对本shell代码，做进一步修改调整，满足自己的需求。
hive3.1.3环境搭建具体步骤
07-08
当搭建Hive 3.1.3环境时，以下是一些基本的步骤： 1. 安装Java：确保你的机器上已经安装了Java。Hive 3.1.3需要Java 8或更高版本。 2. 下载Hive：从Apache Hive的官方网站（https://hive.apache.org/downloads.html）下载Hive 3.1.3的二进制文件。 3. 解压文件：将下载的文件解压到你选择的目录中。 4. 配置环境变量：设置Hive的环境变量。在你的终端或命令提示符中，找到并编辑`~/.bashrc`或`~/.bash_profile`文件，并将以下内容添加到文件末尾： ```shell export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 然后运行`source ~/.bashrc`或`source ~/.bash_profile`使变量生效。 5. 配置Hadoop：Hive需要连接到一个Hadoop集群。在Hive目录中，进入`conf`文件夹，复制`hive-default.xml.template`并将其重命名为`hive-site.xml`。然后编辑`hive-site.xml`文件，设置以下属性： ```xml <property> <name>hive.execution.engine</name> <value>mr</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=/path/to/metastore_db;create=true</value> </property> ``` 注意替换上述代码中的路径为你的Hadoop配置和元数据存储路径。 6. 启动Hive Metastore：在Hive目录中，执行以下命令启动Hive Metastore服务： ```shell schematool -dbType derby -initSchema ``` 这将初始化Hive Metastore的数据库。 7. 启动Hive CLI或Beeline：根据你的需求，可以使用Hive CLI（命令行界面）或Beeline（JDBC客户端）连接到Hive。执行以下命令启动Hive CLI： ```shell hive ``` 或者执行以下命令启动Beeline： ```shell beeline -u jdbc:hive2://localhost:10000 ``` 这将连接到本地的Hive服务。 这些步骤应该帮助你搭建Hive 3.1.3环境。根据你的需求，你可能还需要进行其他配置和调整。请参考Apache Hive的官方文档（https://cwiki.apache.org/confluence/display/Hive/Home）以获取更多详细信息和进一步的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简维旅者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值