![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
一过人_
初出茅庐
展开
-
配置hive on spark后启动报错
因为hive底层用的执行引擎是MapReduce,所以导致了运行起来非常慢,所以我们要更换执行引擎,就有了hive on spark,基于hive的基础上将执行引擎换成spark版本:hive 3.1.2spark3.0.0需要配置的信息在spark的配置文件spark-defaults.conf中spark.master yarnspark.eventLog.enabled truespark.e原创 2020-08-14 20:48:16 · 1781 阅读 · 2 评论 -
关于hive表row format格式的问题
创建表时指定的各种参数中关于行的格式create table tablename( 列名 类型, ...)row format delimited fields terminated by '\t'这个只与存于hdfs上表中的文件的数据格式有关,如果是通过MapReduce计算插入的数据不需要判定数据格式insert into table tablename select * from tablename1;但是这样必须保证这两个表的列的个数和类型一致,不然会出错。注意:如果我们创建原创 2020-07-22 18:17:09 · 6343 阅读 · 0 评论 -
hive自定义创建临时函数和永久函数以及遇到的问题
一 创建临时函数1、先要编写代码继承hive提供的类,并实现抽象方法后打包备用:org.apache.hadoop.hive.ql.udf.generic.GenericUDF org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;2、在hive命令行窗口创建函数①添加jar依赖add jar linux_jar_path;②创建临时函数create temporary function [dbname.]function_name AS原创 2020-07-07 00:20:57 · 4875 阅读 · 0 评论 -
关于hive中explode函数可能出现的问题之并发修改异常
关于hive中explode函数可能出现的问题之并发修改异常今天运行hive的sql时,运行一段时间后报错,如下Hive Runtime Error while processing row (tag=0) {“key”:{“reducesinkkey0”:13199833},“value”:{"_col0":"-_CSo1gOd48","_col1":[“People”,“Blogs”]}}详细查看报错日志,可以得出是并发修改异常,然后思考是什么原因导致的错并发修改异常通常是对集合进行遍历操原创 2020-07-02 15:24:58 · 1215 阅读 · 0 评论