hive 常用参数

转载 2015年11月19日 13:20:38
hive.exec.max.created.files
•说明:所有hive运行的map与reduce任务可以产生的文件的和
•默认值:100000 
hive.exec.dynamic.partition
•说明:是否为自动分区
•默认值:false
hive.mapred.reduce.tasks.speculative.execution
•说明:是否打开推测执行
•默认值:true
hive.input.format
•说明:Hive默认的input format
•默认值: org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
•如果有问题可以使用org.apache.hadoop.hive.ql.io.HiveInputFormat
hive.exec.counters.pull.interval
•说明:Hive与JobTracker拉取counter信息的时间
•默认值:1000ms 
hive.script.recordreader
•说明:使用脚本时默认的读取类
•默认值: org.apache.hadoop.hive.ql.exec.TextRecordReader
hive.script.recordwriter
•说明:使用脚本时默认的数据写入类
•默认值: org.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.mapjoin.check.memory.rows
•说明: 内存里可以存储数据的行数
•默认值: 100000
hive.mapjoin.smalltable.filesize
•说明:输入小表的文件大小的阀值,如果小于该值,就采用普通的join
•默认值: 25000000
hive.auto.convert.join
•说明:是不是依据输入文件的大小,将Join转成普通的Map Join
•默认值: false
hive.mapjoin.followby.gby.localtask.max.memory.usage
•说明:map join做group by 操作时,可以使用多大的内存来存储数据,如果数据太大,则不会保存在内存里
•默认值:0.55
hive.mapjoin.localtask.max.memory.usage
•说明:本地任务可以使用内存的百分比
•默认值: 0.90
hive.heartbeat.interval
•说明:在进行MapJoin与过滤操作时,发送心跳的时间
•默认值1000
hive.merge.size.per.task
•说明: 合并后文件的大小
•默认值: 256000000
hive.mergejob.maponly
•说明: 在只有Map任务的时候 合并输出结果
•默认值: true
hive.merge.mapredfiles
•默认值: 在作业结束的时候是否合并小文件
•说明: false
hive.merge.mapfiles
•说明:Map-Only Job是否合并小文件
•默认值:true
hive.hwi.listen.host
•说明:Hive UI 默认的host
•默认值:0.0.0.0
hive.hwi.listen.port
•说明:Ui监听端口
•默认值:9999
hive.exec.parallel.thread.number
•说明:hive可以并行处理Job的线程数
•默认值:8
hive.exec.parallel
•说明:是否并行提交任务
•默认值:false
hive.exec.compress.output
•说明:输出使用压缩
•默认值: false
hive.mapred.mode
•说明: MapReduce的操作的限制模式,操作的运行在该模式下没有什么限制
•默认值: nonstrict
hive.join.cache.size
•说明: join操作时,可以存在内存里的条数
•默认值: 25000
hive.mapjoin.cache.numrows
•说明: mapjoin 存在内存里的数据量
•默认值:25000
hive.join.emit.interval
•说明: 有连接时Hive在输出前,缓存的时间
•默认值: 1000
hive.optimize.groupby
•说明:在做分组统计时,是否使用bucket table
•默认值: true
hive.fileformat.check
•说明:是否检测文件输入格式
•默认值:true
hive.metastore.client.connect.retry.delay
•说明: client 连接失败时,retry的时间间隔
•默认值:1秒
hive.metastore.client.socket.timeout
•说明:  Client socket 的超时时间
•默认值:20秒
mapred.reduce.tasks
•默认值:-1
•说明:每个任务reduce的默认值
 -1 代表自动根据作业的情况来设置reduce的值 
hive.exec.reducers.bytes.per.reducer
•默认值: 1000000000 (1G)
•说明:每个reduce的接受的数据量
    如果送到reduce的数据为10G,那么将生成10个reduce任务 
hive.exec.reducers.max
•默认值:999
•说明: reduce的最大个数      
hive.exec.reducers.max
•默认值:999
•说明: reduce的最大个数
hive.metastore.warehouse.dir
•默认值:/user/hive/warehouse
•说明: 默认的数据库存放位置
hive.default.fileformat
•默认值:TextFile
•说明: 默认的fileformat
hive.map.aggr
•默认值:true
•说明: Map端聚合,相当于combiner
hive.exec.max.dynamic.partitions.pernode
•默认值:100
•说明:每个任务节点可以产生的最大的分区数
hive.exec.max.dynamic.partitions
•默认值:1000
•说明: 默认的可以创建的分区数
hive.metastore.server.max.threads
•默认值:100000
•说明: metastore默认的最大的处理线程数
hive.metastore.server.min.threads
•默认值:200
•说明: metastore默认的最小的处理线程数

相关文章推荐

hive通过-f调用文件并传递参数

hive通过-f调用文件并传递参数

heartbeat

HeartBeat管理集群 5.24上午 (文档heartbeat.pdf) 它不会管理服务是否正常 没有fence(强制重新启动,例如内核崩溃) 当前环境rhel6.5 相关...

hive 配置参数说明

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exe...

Hive优化以及参数配置

Hive优化 hive.optimize.cp=true:列裁剪 hive.optimize.prunner:分区裁剪 hive.limit.optimize.enable=true...

Hive常用参数配置详细说明

hive.exec.mode.local.auto  决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)  true hive.exec.mode.local.a...

hive常用参数

配套视频课程   第一部分:Hive 参数 •说明:所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000  hiv...

Hive常用优化参数

常用调优测试语句 :   ①显示当前hive环境的参数值: set 参数名; 如:   ②设置hive当前环境的参数值,但仅对本次连接有效 set 参数名 = 值; 如: h...

hive参数配置说明大全

  • 2013-11-02 17:31
  • 25KB
  • 下载

Hive参数

命名空间 使用权限 描述 hivevar 可读/可写 用户自定义变量 hiveconf 可读/可写 Hive相关的配置属性 system 可读/可写 ja...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)