Hive分区数据的写入
-
静态分区
insert into ..... partition(year='2020', month='09')
-
动态分区
insert into ...... partition(year, month)
开启动态分区,同时要求非严格模式
set hive.exec.dynamic.partition=true; 是开启动态分区
set hive.exec.dynamic.partition.mode=nonstrict; 这个属性默认值是strict,就是要求分区字段必须有一个是静态的分区值,当前设置为nonstrict,那么可以全部动态分区
-
混合分区
insert into ......partition(year='2020', month)
这种方式要求静态在前。
DWS层开发
表1访问量:
表2咨询量:
在生成这个表的时候,条件带上:
WHERE msg_count > 0
就是咨询量相关的数据了