![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
朝花夕拾~~~
让代码再跑一会
展开
-
Hive CombineHiveInputFormat获取切片逻辑[源码]
CombineHiveInputFormat获取切片逻辑: 实际执行的是: org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat.createSplits() 1.获取该表的所有fileStatus 2.mapreduce.input.fileinputformat.split.maxsize=maxSize 3.遍历 ...原创 2019-12-29 16:14:59 · 2404 阅读 · 0 评论 -
Hive 常用设置
远程调试hive运行程序: hive --debug[:port=5005] hive日志级别及输出: hive --hiveconf hive.root.logger=DEBUG,console cli服务常用变量设置 //对于输入数据量比较小的任务,hive使用本地模式在单台机器上执行所有的任务 set hive.exec.mode.local.auto=true //是否打印表头 set...原创 2019-12-29 16:12:20 · 377 阅读 · 0 评论