Hive 使用

使用技巧：

 1， 多insert 查询注意

        1.1 多insert 加where 条件时会导致数据不准确

                例: from (select a, b ,c from t0) tmp

                      insert overwrite table tmp1 partition(dt='yyyy-MM-dd')

                                select a,b,c where c>0

                      insert overwrite table tmp2 partition(dt='yyyy-MM-dd')

                                select a,b,c where b>0

 

QA:

 1，执行select时报：java heap outofmemory

       解决办法:

                       Map端：

                       set mapreduce.map.memory.mb=8192;
                       set mapreduce.map.java.opts=-Xmx6144m;

                       Reduce端: 

                       set mapreduce.reduce.memory.mb=8192;
                       set mapreduce.reduce.java.opts=-Xmx6144m;

2, parquet格式hive表更改字段名后，查询该字段历史数据为null问题

    解决办法: ALTER TABLE tableName SET TBLPROPERTIES ('parquet.column.index.access'='true');