![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
xuefenxi
code a better life
展开
-
hive job配置和mapreduce数目控制
开启动态分区:hive.exec.dynamic.partition=true默认值:false描述:是否允许动态分区hive.exec.dynamic.partition.mode=nonstrict默认值:strict描述:strict是避免全分区字段是动态的,必须有至少一个分区字段是指定有值的。读取表的时候可以不指定分区。设置如下参数配置动态分区的使用环境转载 2016-08-24 15:16:27 · 1342 阅读 · 0 评论 -
shell批量导出hive表结构
#!/bin/bashrm -rf databases.txthive -e " show databases; exit ;" > databases#sleep(2)rm -rf ./tables/*for database in `cat databases`do { hive -e " use $database ; show tables ; exit ;" > .原创 2017-12-01 14:11:07 · 4843 阅读 · 1 评论 -
hive建表乱码
1、修改hive 元数据 mysql中COLUMNS_V2 表的编码格式alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;2、插入对应的编码alter table dwd_qmjk.mid_hz_jbxx CHANGE COLUMN id id int comment '编码';原创 2017-12-21 17:27:14 · 2018 阅读 · 0 评论 -
python 操作hive
import pyhs2import sysdefault_encoding = 'utf-8'if sys.getdefaultencoding() != default_encoding: reload(sys) sys.setdefaultencoding(default_encoding)import pyhs2import sysdefault_encodin原创 2018-01-11 15:33:46 · 1043 阅读 · 0 评论 -
hive锁表解决
查询是否锁表 show locks ;发现表(fact_hz_zlfa)被锁,解决方案:关闭锁机制:set hive.support.concurrency=false; 默认为true但被锁的表还未解锁对表解锁unlock table fact_hz_zlfa ;删表新建即可。原创 2017-12-25 15:58:53 · 12990 阅读 · 1 评论