hive SQL常见命令

显示表的定义语句

     show create table table_name   

显示表的分区 

     show partitions table_name     

将parquet压缩格式转换成text file格式示例

     create table table_name_textfile(    --创建一个空表

          filedA          string

          filedB          string

          filedC          string

       )

      partitioned by (filedD     string);

    

    set mapreduce.map.memory.mb=4096;
    set mapreduce.reduce.memory.mb=8192;
    set mapreduce.map.java.opts=-Djava.net.preferIPv4Stack=true -Xmx3072m;
    set mapreduce.reduce.java.opts=-Djava.net.preferIPv4Stack=true -Xmx7168m;
    set hive.exec.reducers.max=40960;
    set hive.exec.dynamic.partition=true;
    set hive.exec.dynamic.partition.mode=nonstrict;
    set hive.exec.max.dynamic.partitions=100000;
    set hive.exec.max.dynamic.partitions.pernode=10000;

 

 

    insert  overwrite table table_name_textfile_partition(filedD)  --将table_name_partition数据插入table_name_textfile

    select

    a.filedA         

    a.filedB

    a.filedC

    a.filedD

    from(

    select * from table_name_parquet

    ) a;

 

---------占坑----------------------hive数据倾斜优化