![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
xuefenxi
code a better life
展开
-
hive job配置和mapreduce数目控制
开启动态分区: hive.exec.dynamic.partition=true 默认值:false 描述:是否允许动态分区 hive.exec.dynamic.partition.mode=nonstrict 默认值:strict 描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的。 读取表的时候可以不指定分区。 设置如下参数配置动态分区的使用环境转载 2016-08-24 15:16:27 · 1354 阅读 · 0 评论 -
shell批量导出hive表结构
#!/bin/bash rm -rf databases.txt hive -e " show databases; exit ;" > databases #sleep(2) rm -rf ./tables/* for database in `cat databases` do { hive -e " use $database ; show tables ; exit ;" > .原创 2017-12-01 14:11:07 · 4852 阅读 · 1 评论 -
hive建表乱码
1、修改hive 元数据 mysql中COLUMNS_V2 表的编码格式 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; 2、插入对应的编码 alter table dwd_qmjk.mid_hz_jbxx CHANGE COLUMN id id int comment '编码';原创 2017-12-21 17:27:14 · 2025 阅读 · 0 评论 -
python 操作hive
import pyhs2 import sys default_encoding = 'utf-8' if sys.getdefaultencoding() != default_encoding: reload(sys) sys.setdefaultencoding(default_encoding) import pyhs2 import sys default_encodin原创 2018-01-11 15:33:46 · 1049 阅读 · 0 评论 -
hive锁表解决
查询是否锁表 show locks ; 发现表(fact_hz_zlfa)被锁, 解决方案: 关闭锁机制: set hive.support.concurrency=false; 默认为true 但被锁的表还未解锁 对表解锁 unlock table fact_hz_zlfa ; 删表新建即可。原创 2017-12-25 15:58:53 · 13010 阅读 · 1 评论