第7章 需求二:用户新增主题
7.1 DWS层(每日新增设备明细表)
1)建表语句
hive (gmall)>
drop table if exists dws_new_mid_day;
create external table dws_new_mid_day
(
mid_id
string COMMENT ‘设备唯一标识’,
user_id
string COMMENT ‘用户标识’,
version_code
string COMMENT ‘程序版本号’,
version_name
string COMMENT ‘程序版本名’,
lang
string COMMENT ‘系统语言’,
source
string COMMENT ‘渠道号’,
os
string COMMENT ‘安卓系统版本’,
area
string COMMENT ‘区域’,
model
string COMMENT ‘手机型号’,
brand
string COMMENT ‘手机品牌’,
sdk_version
string COMMENT ‘sdkVersion’,
gmail
string COMMENT ‘gmail’,
height_width
string COMMENT ‘屏幕宽高’,
app_time
string COMMENT ‘客户端日志产生时的时间’,
network
string COMMENT ‘网络模式’,
lng
string COMMENT ‘经度’,
lat
string COMMENT ‘纬度’,
create_date
string comment ‘创建时间’
) COMMENT ‘每日新增设备信息’
stored as parquet
location ‘/warehouse/gmall/dws/dws_new_mid_day/’;
2)导入数据
用每日活跃用户表Left Join每日新增设备表,关联的条件是mid_id相等。如果是每日新增的设备,则在每日新增设备表中为null。
hive (gmall)>
insert into table dws_new_mid_day
select
ud.mid_id,
ud.user_id ,
ud.version_code ,
ud.version_name ,
ud.lang ,
ud.source,
ud.os,
ud.area,
ud.model,
ud.brand,
ud.sdk_version,
ud.gmail,
ud.height_width,
ud.app_time,
ud.network,
ud.lng,
ud.lat,
‘2019-02-10’
from dws_uv_detail_day ud left join dws_new_mid_day nm on ud.mid_id=nm.mid_id
where ud.dt=‘2019-02-10’ and nm.mid_id is null;
3)查询导入数据
hive (gmall)> select count(*) from dws_new_mid_day ;
9(14)7.1 DWS层(每日新增设备明细表)14
最新推荐文章于 2022-03-11 09:47:58 发布