CDH集群修改/设置hive的动态分区(dynamic)相关参数

1、集群环境
CDH 6.2.1

hive版本 2.1.1

2、设置参数

开启客户端显示数据的字段信息

hive.cli.print.header=true

开启显示当前库的名称

hive.cli.print.current.db =true

开启动态分区

set hive.exec.dynamic.partition=true;

开启非严格模式

set hive.exec.dynamic.partition.mode=nonstrick;

进行动态分区写入数据时一次运行最大生成多少个分区

set hive.exec.max.dynamic.partitions.pernode=10000;

set hive.exec.max.dynamic.partitions=100000;

进行动态分区写入数据时一次最多生成多少个文件

set hive.exec.max.created.files=150000;

在Map-only的任务结束时合并小文件

set hive.merge.mapfiles=true;

在Map-Reduce的任务结束时合并小文件

set hive.merge.mapredfiles = true;

3、由于cdh,hive中没有的对应的参数选项,需要通过高级设置完成这些项目的修改

  • 在hive组件的配置选项搜索hive-site

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值