hive的调优以及数据倾斜

本文介绍了Hive的调优策略,包括fectch抓取优化、本地模式的使用,以及大表小表JOIN的处理。此外,还讨论了数据倾斜问题,如如何减少和增加Map数,调整Reduce数,以及自定义分区和调整JVM内存等解决方法。
摘要由CSDN通过智能技术生成

调优:
    fectch抓取(select,filter,limit)   (这个适合老版本,因为老版本hive默认是minimal,现在新版本都是默认more)
        hive>set hive.fetch.task.conversion=none;//转为mr
        hive> select * from emp;
        Query ID = yangting_20180812081546_8bbe72fd-e30b-4892-ae71-1f3704d678ed
        Total jobs = 1
        Launching Job 1 out of 1
        Number of reduce tasks is set to 0 since there's no reduce operator
        Job running in-process (local Hadoop)
        2018-08-12 08:15:53,011 Stage-1 map = 100%,  reduce = 0%
        Ended Job = job_local108385281_0001
        MapReduce Jobs Launched: 
        Stage-Stage-1:  HDFS Read: 2322 HDFS Write: 1651 SUCCESS
        Total MapReduce CPU Time Spent: 0 msec
        OK
        7369    SMITH    CLERK    7902    1980-12-17    800.0    NULL    20
        7499    ALLEN    SALESMAN    7698    1981-2-20    1600.0    300.0    30
        7521    WARD    SALESMAN    7698    1981-2-22    1250.0    500.0    30
        7566    JONES    MANAGER    7839    1981-4-2    2975.0    NULL    20
        7654    MARTIN    SALESMAN    7698    1981-9-28    1250.0    1400.0    30
        7698    BLAKE    MANAGER    7839    1981-5-1    2850.0    NULL    30
        7782    CLARK    MANAGER    7839    1981-6-9    2450.0    NULL    10
        7788    SCOTT    ANALYST    7566    1987-4-19    3000.0    NULL    20
        7839    KING    PRESIDENT    NULL    1981-11-17    5000.0    NULL    10
        7844    TURNER    SALESMAN    7698    1981-9-8    1500.0    0.0    30
        7876    ADAMS    CLERK    7788    1987-5-23    1100.0    NULL    20
        7900    JAMES    CLERK  

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值