![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
YrzDemo
这个作者很懒,什么都没留下…
展开
-
2020-10-27
Hive详解之参数和变量设置Jeremy_Lee1232019-10-05 20:39:18977已收藏3分类专栏:Hive文章标签:hive版权Hive参数大全:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties开发Hive应用时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率,或帮助定位问题。然而实践中经常遇到的一个问题是,为什么设定...转载 2020-10-27 16:35:19 · 480 阅读 · 0 评论 -
hive提示报错问题(bug)
辽宁用户今天执行hive时出现报错1.租户的建表语句:CREATE TABLE XXX (xxxxxx)COMMENT '在线订单-卡号类订单明细'PARTITIONED BY ( `month_part` string COMMENT '月份分区', `day_part` string COMMENT '日期分区')ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSe...原创 2020-08-20 16:10:59 · 683 阅读 · 0 评论 -
hive job运行过程jobname指定
1 set mapred.job.name=jobname2 hive --hiveconf mapred.job.name=jobname2.效果如果脚本中有多个sql语句,那么你设定jobname后,所有的sql生成的job都会有同一个名字hive.jobname.length当前 job name 的最大长度,hive 会根据此长度省略 job name 的中间部分...转载 2020-08-12 09:29:10 · 1085 阅读 · 0 评论 -
hive 各配置参数用法
hive 各配置参数用法·清尘·2017-09-17 14:24:16498已收藏1、hive.exec.mode.local.auto决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)true2、hive.exec.mode.local.auto.inputbytes.max如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆。1342177...转载 2020-08-12 09:28:45 · 1262 阅读 · 0 评论 -
Hive 存储格式
Hive 存储格式 说明2019-05-14 00:266400转载HiveHive 支持多种存储格式,本文我们将了解这些格式的概念。1、文本文件格式文件文件(TEXTFILE)格式是Hive中默认的存储格式,在创建Hive 表时如果不指定存储格式即为文本文件。文本文件中每一行数据就是一条记录,可以用任意的分隔符进行分割,也方便和其他的工具进行数据共享、查看和编辑,比如sed,awk等。但相对于二进制文件,文本文件存储的空间较大。TEXTFILE的数据不做压缩,磁盘开销大,数据解析开销大。转载 2020-08-05 14:20:47 · 1239 阅读 · 0 评论 -
Hive 问题报错处理——No lease on
Hive job failed with error "org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException"本文介绍了您的配置单元作业失败并出现错误时该怎么办:“org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredEx.转载 2020-07-10 18:30:37 · 2195 阅读 · 0 评论 -
HIVE创建hbase关联表失败问题
Hive建表报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Put request failed : INSERT INTO `SERDE_PARAMS` (`PARAM_VALUE`,`SERDE_ID`,`PARAM_KEY`) VALUES (?,?,?) ..原创 2020-06-28 15:11:38 · 1144 阅读 · 0 评论 -
hive超时问题
租户反馈他们执行一个耗时比较久的sql后,再去关闭会话连接的时候,报错连接超时了反馈添加参数运行:sethive.server2.session.check.interval=0;原创 2020-06-11 23:42:17 · 4148 阅读 · 0 评论 -
hive import 数据报错问题
一、故障现象经反馈,租户在hive使用import导入数据的时候出现报错现象1. 报错的语句:importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name';2. 报错截图:FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...转载 2020-06-08 16:11:54 · 935 阅读 · 0 评论 -
hive 修改前台提示
1. 今天在租户运行中发现这个提示信息一致都在,但是不影响正常运行这里去掉这个提示信息:在hive/bin/hive中修改修改为:转载 2020-04-27 11:41:42 · 252 阅读 · 0 评论