hive 部分参数

最新推荐文章于 2021-03-17 15:47:00 发布
最新推荐文章于 2021-03-17 15:47:00 发布
阅读量83 收藏
点赞数 1
文章标签： hdfs hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44162014/article/details/107250774
版权
hive.exec.max.created.files100,000
hive.exec.dynamic.partitionFALSE
hive.mapred.reduce.tasks.speculative.executionTRUE
hive.input.formatorg.apache.hadoop.hive.ql.io.CombineHiveInputFormat
hive.exec.counters.pull.Interval1000ms
hive.script.recordreaderorg.apache.hadoop.hive.ql.exec.TextRecordReader
hive.script.recordwriterorg.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.mapjoin.check.memory.rows100000
hive.mapjoin.smalltable.filesize25000000
hive.auto.convert.joinFALSE
hive.mapjoin.followby.gby.localtask.max.memory.usage0.55
hive.mapjoin.localtask.max.memory.usage0.9
hive.heartbeat.interval1000
hive.merge.size.per.task256000000
hive.mergejob.maponlyTRUE
hive.merge.mapredfilesFALSE
hive.merge.mapfilesTRUE
hive.hwi.listen.host0.0.0.0
hive.exec.parallel.thread.number8
hive.exec.parallelFALSE
hive.exec.compress.outputFALSE
hive.mapred.modeNon strict
hive.join.cache.size25000
hive.mapjoin.cache.numrows25000
hive.join.emit.interval1000
hive.optimize.groupbyTRUE
hive.fileformat.checkTRUE
hive.metastore.client.socket.timeout20s
mapred.reduce.tasks-1
hive.exec.reducers.bytes.per.reducer1000000000(1G)
hive.exec.reducers.max999
hive.metastore.warehouse.dir/user/hive/warehouse
hive.default.fileformatTextFile
hive.map.aggrTRUE
hive.exec.max.dynamic.partitions1000
hive.exec.max.dynamic.partitions.pernode100
hive.metastore.server.max.threads100000
hive.metastore.server.min.threads200
看不到的熊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive--控制map和reduce的个数(为什么&什么场景设置&如何设置)
qq_46893497的博客
02-19 4382
设置map和reduce的个数一、控制hive任务中的map数:如果超过128m就一定会被拆分吗？是不是map数越多越好？那么针对这种情况，如何合并小文件，减少map数？是不是保证每个map处理接近128m的文件块，就高枕无忧了？那么针对这种情况，如何适当增加map数？二、 控制hive任务的reduce数：什么情况下只有一个reduce？ 一、控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大
升级到 CDP 后Hive on Tez 性能调整和故障排除指南
最新发布
未来在这儿的专栏
02-09 1625
此博客介绍了有关 CDP 的 Hive on Tez 查询的一些基本故障排除和调整指南。作为查询性能分析的第一步，您应该验证并验证在 Hive 和 Hive on Tez 服务上设置的所有配置。所做的每一项更改都应进行测试，以确保其做出可衡量且有益的改进。查询调优是一项专门的工作，并非所有查询都可以通过更改 Tez 配置属性来更好地执行。您可能会遇到需要深入研究 SQL 查询以优化和提高执行和性能的场景。如果您需要有关性能调整工作的更多帮助，请联系您的 Cloudera 帐户和专业服务团队以提供指导。
从一个经典案例看优化mapred.map.tasks的重要性
hellojoy的博客
03-11 1535
--bdk平台启用了输入文件和输出文件的自动合并, 缩小合并大小为64M，增加map数 set hive.mapred.mode=nonstrict; set mapreduce.input.fileinputformat.split.minsize.per.node=64000000; set mapreduce.input.fileinputformat.split.minsize.per.r...
hive优化之------控制hive任务中的map数和reduce数
布尔值
08-28 1539
 文章来自：http://www.dataguru.cn/article-3269-1.html   一、    控制hive任务中的map数: 1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查...
Hive中reduce个数设定
OopsOutOfMemory盛利的博客
06-24 1万+
Hive中reduce个数设定原理解析
eclipse下开发mapreduce程序设置reduce个数无效的问题及解决
nnaxmy的专栏
02-03 1750
reduce个数是可以根据集群和项目具体情况设置的，新接口中用job.setNumReduceTasks(n);即可设置，但前几天用eclipse调试mapreduce程序时发现无论设置reduce个数是多少，运行时仍然只有一个reduce，输出目录里也只有一个输出文件part-r-00000。 看运行日志中启动的是LocalJobRunner， 网上查询得知hadoop有本地、伪分布、完全分布
Hive中map与reduce数量控制
qq_36998916的博客
03-17 1278
1. 控制hive任务中的map数和reduce数 map数量 1.多少map数量合适: 遵循两个原则： 使大数据量利用合适的map数；使单个map任务处理合适的数据量； 2.主要决定因素: hdfs block-- input的文件总个数，input的文件大小，集群设置的文件块大小(默认128M) InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分 片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端
hive 配置参数说明
热门推荐
chaoping315的专栏
01-14 4万+
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默
hive参数——深入浅出学Hive
快乐程序员的专栏
08-02 1190
第一部分：Hive 参数 hive.exec.max.created.files •说明：所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000  hive.exec.dynamic.partition •说明：是否为自动分区 •默认值：false hive.mapred.reduce.tasks.spec
Hive参数配置调优
binguo的博客
09-07 1402
hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。 确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个
（转载）Hive学习笔记--Hive 参数
weixin_33964094的博客
08-09 106
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive学习（1）配置参数
Dreamy_zsy的博客
12-07 2万+
hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode
解决Hive创建文件数过多的问题
laoxubug的博客
08-25 630
一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job 解决办法： 最简单的解决办法就是调大hive.exec.max.created.files参数。 但是
Hive配置项的含义详解
╱/.进oоΟ的专栏
12-09 1万+
http://www.blogjava.net/changedi/archive/2013/08/13/402741.html
hive 各配置参数用法
Yrz7746321的博客
08-12 1219
hive 各配置参数用法 ·清尘·2017-09-17 14:24:16498已收藏 1、hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true 2、hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 1342177...
真正让你明白Hive参数调优系列2：如何控制reduce个数与参数调优
涤生大数据
11-07 1万+
相比map个数的控制复杂性，reduce个数的设定要相对简单多了，reduce的个数一般最后决定了输出文件的个数，二者相等，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如果使用不当...
hive和spark相关参数列表
xiaosannimei的博客
12-21 3059
("hive.exec.script.wrapper", (Object)null, ""), ("hive.exec.plan", "", ""), ("hive.plan.serialization.format", "kryo", "Query plan format serialization between client a
[Hive优化]--常用参数优化汇总
欢迎来到我的博客，一起探索代码里的世界！
01-08 2823
● 使用动态分区需要加配置：SET hive.exec.dynamic.partition=true;SET hive.exec.dynamic.partition.mode=nonstrict;SET hive.exec.max.dynamic.partitions=1000;SET hive.exec.max.dynamic.partitions.pernode=100;为了防止一个reduc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值