hive 配置参数详细说明

本文深入探讨了Hive的配置参数,包括其作用、设置方法及最佳实践。通过理解这些参数,可以优化Hive的性能,提升大数据处理效率。
摘要由CSDN通过智能技术生成
    hive.exec.mode.local.auto 
    决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) 
    true
    
    hive.exec.mode.local.auto.inputbytes.max 
    如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆。 
    134217728L
    
    hive.exec.mode.local.auto.tasks.max 
    如果 hive.exec.mode.local.auto 为 true,当 Hive Tasks(Hadoop Jobs)小于此阈值时,可以自动在本地模式运行。 
    4
    
    hive.auto.convert.join 
    是否根据输入小表的大小,自动将 Reduce 端的 Common Join 转化为 Map Join,从而加快大表关联小表的 Join 速度。 
    false
    
    hive.mapred.local.mem 
    Mapper/Reducer 在本地模式的最大内存量,以字节为单位,0为不限制。 
    0
    
    mapred.reduce.tasks 
    所提交 Job 的 reduer 的个数,使用 Hadoop Client 的配置。 
    1
    
    hive.exec.scratchdir 
    HDFS路径,用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。 
    /tmp/<user.name>/hive
    
    hive.metastore.warehouse.dir 
    Hive 默认的数据文件存储路径,通常为 HDFS 可写的路径。 
    "
    
    hive.groupby.skewindata 
    决定 group by 操作是否支持倾斜的数据。 
    false
    
    hive.merge.mapfiles 
    是否开启合并 Map 端小文件,对于 Hadoop 0.20 以前的版本,起一首新的 Map/Reduce Job,对于 0.20 以后的版本,则是起使用 CombineInputFormat 的 MapOnly Job。 
    true
    
    hive.merge.mapredfiles 
    是否开启合并 Map/Reduce 小文件,对于 Hadoop 0.20 以前的版本,起一首新的 Map/Reduce Job,对于 0.20 以后的版本,则是起使用 CombineInputFormat 的 MapOnly Job。 
    false
    
    hive.default.fileformat 
    Hive 默认的输出文件格式,与创建表时所指定的相同,可选项为 'TextFile' 、 'SequenceFile' 或者 'RCFile'。 
    'TextFile'
    
    hive.mapred.mode 
    Map/Redure 模式,如果设置为 strict,将不允许笛卡尔积。 
    'nonstrict'
    
    hive.exec.parallel 
    是否开启 map/reduce job的并发提交。 
    false
    
    hive.security.authorization.enabled 
    Hive 是否开启权限认证。 
    false
    
    hive.exec.plan 
    Hive 执行计划的路径,会在程序中自动进行设置 
    null
    
    hive.exec.submitviachild 
    决定 map/reduce Job 是否应该使用各自独立的 JVM 进行提交(Child进程),默认情况下,使用与 HQL compiler 相同的 JVM 进行提交。 
    false
    
    hive.exec.script.maxerrsize 
    通过 TRANSFROM/MAP/REDUCE 所执行的用户脚本所允许的最大的序列化错误数。 
    100000
    
    hive.exec.script.allow.partial.consumption 
    是否允许脚本只处理部分数据,如果设置为 true ,因 broken pipe 等造成的数据未处理完成将视为正常。 
    false
    
    hive.exec.compress.output 
    决定查询中最后一个 map/reduce job 的输出是否为压缩格式。 
    false
    
    hive.exec.compress.intermediate 
    决定查询的中间 map/reduce job (中间 stage)的输出是否为压缩格式。 
    false
    
    hive.intermediate.compression.codec 
    中间 ma
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值