hive
文章平均质量分 69
AiBigData
生而有涯,知而无涯.
不断迭代,实现自我.
展开
-
spark on hive=>spark3.1.2 on hive3.1.2 重新编译
hive on spark参考这篇文章wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2.tgz编译Saprk源码前置条件Maven 3.3.9 or newerJava 8+Scala修改文件 make-distribution.shMVN="/data/java/apache-maven-3.8.1/bin/mvn"先通过mvn下载相应的jar包mvn -Pyarn -Phive -Phive-th原创 2021-08-27 16:40:50 · 1475 阅读 · 0 评论 -
hive on spark Hive3.1.2 on Spark2.4.7单机环境
准备工作设备&电脑电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8), 已安装hive(3.1.2), 已安装hadoop(3.2.2)安装包https://archive.apache.org/dist/spark/spark-2.4.7/因为是hive on spark 所以我们使用spark-without-hadoop安装Spark解压Spark文件wget https://archive.apache.org/di原创 2021-08-27 16:35:42 · 724 阅读 · 0 评论 -
安装hive3
安装hive3一.下载&解压下载地址,下载安装文件之后解押到自己机器上合适的目录即可。https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz二. 配置hive1:配置环境变量配置HIVE_HOME环境变量,然后将HIVE_HOME下的bin目录加入到PATH路径中export HIVE_HOME=/data/java/apache-hive-3.1.2-binexport原创 2021-08-27 16:34:34 · 270 阅读 · 0 评论 -
hive UDF里写了main方法,运行提示 错误: 找不到或无法加载主类
hive UDF里写了main方法,运行提示 错误: 找不到或无法加载主类由于自定义的udf需要extends UDF,由于UDF在hive exec 的jar包中,pom文件中,这个jar的作用范围是provided,它只影响编译、测试阶段,运行阶段,是使用目标容器中提供的jar,所以运行阶段会提示上面的错误,如果在udf中测试main方法,可以讲provided进行注释,上线后别忘记恢复,否则会与线上hive的jar包冲突。 <dependency>原创 2021-02-01 14:55:00 · 1474 阅读 · 0 评论 -
spark sql on hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.
Spark sql on hive报如下的错误ob failed with org.apache.spark.SparkException: File ./hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar exists and does not match contents of .../hiveforudf-0.0.5-SNAPSHOT-jar-with-dependencies.jar FAILED: Execution Error, return原创 2020-05-08 22:17:53 · 6847 阅读 · 4 评论 -
hive使用窗口函数报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
输入下面的语句SELECT cookieid, createtime, pv, RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1, DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2, ROW_NUMBER() OVER(PARTITION BY coo...原创 2020-04-16 15:27:52 · 2189 阅读 · 1 评论