（34）曝光日志表

曝光日志解析思路： 曝光日志表中每行数据对应 一个曝光记录 ，一个曝光记录应当包含

公共信息、页面信息以及曝光信息。 先将包含 display 字段的日志过滤出来 ，然后 通过 UDTF

函数，将 display 数组“炸开” （类似于 explode 函数的效果），然后使用 get_json_object 函

数解析每个字段。

 

1 ）建表语句

hive (gmall)>

drop table if exists dwd_display_log;

CREATE EXTERNAL TABLE dwd_display_log(

`area_code` string COMMENT ' 地区编码 ' ,

`brand` string COMMENT ' 手机品牌 ' ,

`channel` string COMMENT ' 渠道 ' ,

`model` string COMMENT ' 手机型号 ' ,

`mid_id` string COMMENT ' 设备 id' ,

`os` string COMMENT ' 操作系统 ' ,

`user_id` string COMMENT ' 会员 id' ,

`version_code` string COMMENT 'app 版本号 ' ,

`during_time` bigint COMMENT 'app 版本号 ' ,

`page_item` string COMMENT ' 目标 id ' ,

`page_item_type` string COMMENT ' 目标类型 ' ,

`last_page_id` string COMMENT ' 上页类型 ' ,

`page_id` string COMMENT ' 页面 ID ' ,

`source_type` string COMMENT ' 来源类型 ' ,

`ts` bigint COMMENT 'app 版本号 ' ,

`display_type` string COMMENT ' 曝光类型 ' ,

`item` string COMMENT ' 曝光对象 id ' ,

`item_type` string COMMENT 'app 版本号 ' ,

`order` bigint COMMENT ' 出现顺序 '

) COMMENT ' 曝光日志表 '

PARTITIONED BY (dt string)

stored as parquet

LOCATION '/warehouse/gmall/dwd/dwd_display_log'

TBLPROPERTIES('parquet.compression'='lzo');

2 ）数据导入

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFo

rmat;

insert overwrite table dwd_display_log partition(dt='2020-06-

14')

select

get_json_object(line,'$.common.ar'),

get_json_object(line,'$.common.ba'),

get_json_object(line,'$.common.ch'),

get_json_object(line,'$.common.md'),

get_json_object(line,'$.common.mid'),

get_json_object(line,'$.common.os'),

get_json_object(line,'$.common.uid'),

get_json_object(line,'$.common.vc'),

get_json_object(line,'$.page.during_time'),

get_json_object(line,'$.page.item'),

get_json_object(line,'$.page.item_type'),

get_json_object(line,'$.page.last_page_id'),

get_json_object(line,'$.page.page_id'),

get_json_object(line,'$.page.sourceType'),

get_json_object(line,'$.ts'),

get_json_object(display,'$.displayType'),

get_json_object(display,'$.item'),

get_json_object(display,'$.item_type'),

get_json_object(display,'$.order')

from ods_log lateral view

explode_json_array (get_json_object(line,'$.displays')) tmp as

display

where dt='2020-06-14'

and get_json_object(line,'$.displays') is not null;

3 ）查看数据

hive (gmall)>

select * from dwd_display_log where dt='2020-06-14' limit 2;