hive 常见set字段1

本文介绍了Hive的配置优化技巧,包括设置MapReduce作业队列、内存参数、分区策略等,以提升查询效率。同时,展示了如何使用HQL选择除特定字段外的所有字段,并显示表头。这些优化措施对于大数据处理场景下的性能提升至关重要。
摘要由CSDN通过智能技术生成


use adst;
set mapreduce.job.queuename=${hiveconf:mp_queue};
set mapreduce.reduce.java.opts=-=-Xmx10000m;
set mapred.reduce.tasks=5;
set mapred.min.split.size.per.node=3200000;
set mapred.min.split.size.per.rack=3200000;
set mapred.max.split.size=25600000;
set hive.auto.convert.join=true;
set hive.groupby.skewindata=true;
set hive.mapjoin.smalltable.filesize=25000000;
set hive.map.aggr=true;
set hive.exec.orc.default.stripe.size=268435456;
set hive.exec.max.dynamic.partitions=100000;
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=10;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.reducers.bytes.per.reducer=107374182;
set orc.compress.size=4096;

1. Hive 中select除了某些字段之外的剩余所有字段

-- 选择tableName表中除了name、id、pwd之外的所有字段
set hive.support.quoted.identifiers=None;
select `(name|id|pwd)?+.+` from tableName;

2. 显示表头

set hive.cli.print.header=true;
-- 显示表头且字段不带表名(非table.id格式)
set  hive.resultset.use.unique.column.names=false;

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值