大数据项目之电商数据仓库系统(二)

最新推荐文章于 2023-12-04 18:00:31 发布
最新推荐文章于 2023-12-04 18:00:31 发布
阅读量144 收藏 1
点赞数
文章标签： 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39458365/article/details/133585830
版权

第4章 数仓搭建-DWD层

1）对用户行为数据解析。

2）对核心数据进行判空过滤。

3）对业务数据采用维度模型重新建模。

4.1 DWD层（用户行为日志解析）

4.1.1 日志格式回顾

（1）页面埋点日志

（2）启动日志

4.1.2 get_json_object函数使用

1）数据

[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]

2）取出第一个json对象

hive (gmall)>

select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');

结果是：{"name":"大郎","sex":"男","age":"25"}

3）取出第一个json的age字段的值

hive (gmall)>

SELECT get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]',"$[0].age");

结果是：25

4.1.3 启动日志表

启动日志解析思路：启动日志表中每行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

1）建表语句

hive (gmall)>

drop table if exists dwd_start_log;

CREATE EXTERNAL TABLE dwd_start_log(

    `area_code` string COMMENT '地区编码',

    `brand` string COMMENT '手机品牌',

    `channel` string COMMENT '渠道',

    `model` string COMMENT '手机型号',

    `mid_id` string COMMENT '设备id',

    `os` string COMMENT '操作系统',

    `user_id` string COMMENT '会员id',

    `version_code` string COMMENT 'app版本号',

    `entry` string COMMENT ' icon手机图标  notice 通知   install 安装后启动',

    `loading_time` bigint COMMENT '启动加载时间',

    `open_ad_id` string COMMENT '广告页ID ',

    `open_ad_ms` bigint COMMENT '广告总共播放时间',

    `open_ad_skip_ms` bigint COMMENT '用户跳过广告时点',

    `ts` bigint COMMENT '时间'

) COMMENT '启动日志表'

PARTITIONED BY (dt string) -- 按照时间创建分区

stored as parquet -- 采用parquet列式存储

LOCATION '/warehouse/gmall/dwd/dwd_start_log' -- 指定在HDFS上存储位置

TBLPROPERTIES('parquet.compression'='lzo') -- 采用LZO压缩

;

说明：数据采用parquet存储方式，是可以支持切片的，不需要再对数据创建索引。如果单纯的text方式存储数据，需要采用支持切片的，lzop压缩方式并创建索引。

2）数据导入

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

insert overwrite table dwd_start_log partition(dt='2020-06-14')

select

    get_json_object(line,'$.common.ar'),

    get_json_object(line,'$.common.ba'),

    get_json_object(line,'$.common.ch'),

    get_json_object(line,'$.common.md'),

    get_json_object(line,'$.common.mid'),

    get_json_object(line,'$.common.os'),

    get_json_object(line,'$.common.uid'),

    get_json_object(line,'$.common.vc'),

    get_json_object(line,'$.start.entry'),

    get_json_object(line,'$.start.loading_time'),

    get_json_object(line,'$.start.open_ad_id'),

    get_json_object(line,'$.start.open_ad_ms'),

    get_json_object(line,'$.start.open_ad_skip_ms'),

    get_json_object(line,'$.ts')

from ods_log

where dt='2020-06-14'

and get_json_object(line,'$.start') is not null;

3）查看数据

hive (gmall)>

select * from dwd_start_log where dt='2020-06-14' limit 2;

4）Hive读取索引文件问题

（1）两种方式，分别查询数据有多少行

hive (gmall)> select * from ods_log;

Time taken: 0.706 seconds, Fetched: 2955 row(s)

hive (gmall)> select count(*) from ods_log;

2959

（2）两次查询结果不一致。

原因是select * from ods_log不执行MR操作，默认采用的是ods_log建表语句中指定的DeprecatedLzoTextInputFormat，能够识别lzo.index为索引文件。

select count(*) from ods_log执行MR操作，默认采用的是CombineHiveInputFormat，不能识别lzo.index为索引文件，将索引文件当做普通文件处理。更严重的是，这会导致LZO文件无法切片。

hive (gmall)> set hive.input.format;

hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

解决办法：修改CombineHiveInputFormat为HiveInputFormat

（3）再次测试

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

hive (gmall)> select * from ods_log;

Time taken: 0.706 seconds, Fetched: 2955 row(s)

hive (gmall)> select count(*) from ods_log;

2955

4.1.4 页面日志表

页面日志解析思路：页面日志表中每行数据对应一个页面访问记录，一个页面访问记录应该包含日志中的公共信息和页面信息。先将所有包含page字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

1）建表语句

hive (gmall)>

drop table if exists dwd_page_log;

CREATE EXTERNAL TABLE dwd_page_log(

    `area_code` string COMMENT '地区编码',

    `brand` string COMMENT '手机品牌',

    `channel` string COMMENT '渠道',

    `model` string COMMENT '手机型号',

    `mid_id` string COMMENT '设备id',

    `os` string COMMENT '操作系统',

    `user_id` string COMMENT '会员id',

    `version_code` string COMMENT 'app版本号',

    `during_time` bigint COMMENT '持续时间毫秒',

    `page_item` string COMMENT '目标id ',

    `page_item_type` string COMMENT '目标类型',

    `last_page_id` string COMMENT '上页类型',

    `page_id` string COMMENT '页面ID ',

    `source_type` string COMMENT '来源类型',

    `ts` bigint

) COMMENT '页面日志表'

PARTITIONED BY (dt string)

stored as parquet

LOCATION '/warehouse/gmall/dwd/dwd_page_log'

TBLPROPERTIES('parquet.compression'='lzo');

2）数据导入

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

insert overwrite table dwd_page_log partition(dt='2020-06-14')

select

    get_json_object(line,'$.common.ar'),

    get_json_object(line,'$.common.ba'),

    get_json_object(line,'$.common.ch'),

    get_json_object(line,'$.common.md'),

    get_json_object(line,'$.common.mid'),

    get_json_object(line,'$.common.os'),

    get_json_object(line,'$.common.uid'),

    get_json_object(line,'$.common.vc'),

    get_json_object(line,'$.page.during_time'),

    get_json_object(line,'$.page.item'),

    get_json_object(line,'$.page.item_type'),

    get_json_object(line,'$.page.last_page_id'),

    get_json_object(line,'$.page.page_id'),

    get_json_object(line,'$.page.sourceType'),

    get_json_object(line,'$.ts')

from ods_log

where dt='2020-06-14'

and get_json_object(line,'$.page') is not null;

3）查看数据

hive (gmall)>

select * from dwd_page_log where dt='2020-06-14' limit 2;

4.1.5 动作日志表

动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。

1）建表语句

hive (gmall)>

drop table if exists dwd_action_log;

CREATE EXTERNAL TABLE dwd_action_log(

    `area_code` string COMMENT '地区编码',

    `brand` string COMMENT '手机品牌',

    `channel` string COMMENT '渠道',

    `model` string COMMENT '手机型号',

    `mid_id` string COMMENT '设备id',

    `os` string COMMENT '操作系统',

    `user_id` string COMMENT '会员id',

    `version_code` string COMMENT 'app版本号',

    `during_time` bigint COMMENT '持续时间毫秒',

    `page_item` string COMMENT '目标id ',

    `page_item_type` string COMMENT '目标类型',

    `last_page_id` string COMMENT '上页类型',

    `page_id` string COMMENT '页面id ',

    `source_type` string COMMENT '来源类型',

    `action_id` string COMMENT '动作id',

    `item` string COMMENT '目标id ',

    `item_type` string COMMENT '目标类型',

    `ts` bigint COMMENT '时间'

) COMMENT '动作日志表'

PARTITIONED BY (dt string)

stored as parquet

LOCATION '/warehouse/gmall/dwd/dwd_action_log'

TBLPROPERTIES('parquet.compression'='lzo');

2）创建UDTF函数——设计思路

3）创建UDTF函数——编写代码

（1）创建一个maven工程：hivefunction

（2）创建包名：com.atguigu.hive.udtf

（3）引入如下依赖

                org.apache.hive        hive-exec        3.1.2    

（4）编码

package com.atguigu.hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import org.json.JSONArray;

import java.util.ArrayList;

import java.util.List;

public class ExplodeJSONArray extends GenericUDTF {

    @Override

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        // 1 参数合法性检查

        if (argOIs.getAllStructFieldRefs().size() != 1){

            throw new UDFArgumentException("ExplodeJSONArray 只需要一个参数");

        }

        // 2 第一个参数必须为string

        if(!"string".equals(argOIs.getAllStructFieldRefs().get(0).getFieldObjectInspector().getTypeName())){

            throw new UDFArgumentException("json_array_to_struct_array的第1个参数应为string类型");

        }

        // 3 定义返回值名称和类型

        List fieldNames = new ArrayList();

        List fieldOIs = new ArrayList();

        fieldNames.add("items");

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);

    }

    public void process(Object[] objects) throws HiveException {

        // 1 获取传入的数据

        String jsonArray = objects[0].toString();

        // 2 将string转换为json数组

        JSONArray actions = new JSONArray(jsonArray);

        

        // 3 循环一次，取出数组中的一个json，并写出

        for (int i = 0; i < actions.length(); i++) {

            String[] result = new String[1];

            result[0] = actions.getString(i);

            forward(result);

        }

    }

    public void close() throws HiveException {

    }

}

4）创建函数

（1）打包

（2）将hivefunction-1.0-SNAPSHOT.jar上传到hadoop102的/opt/module，然后再将该jar包上传到HDFS的/user/hive/jars路径下

[atguigu@hadoop102 module]$ hadoop fs -mkdir -p /user/hive/jars

[atguigu@hadoop102 module]$ hadoop fs -put hivefunction-1.0-SNAPSHOT.jar /user/hive/jars

（3）创建永久函数与开发好的java class关联

hive (gmall)>

create function explode_json_array as 'com.atguigu.hive.udtf.ExplodeJSONArray' using jar 'hdfs://hadoop102:8020/user/hive/jars/hivefunction-1.0-SNAPSHOT.jar';

（4）注意：如果修改了自定义函数重新生成jar包怎么处理？只需要替换HDFS路径上的旧jar包，然后重启Hive客户端即可。

5）数据导入

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

insert overwrite table dwd_action_log partition(dt='2020-06-14')

select

    get_json_object(line,'$.common.ar'),

    get_json_object(line,'$.common.ba'),

    get_json_object(line,'$.common.ch'),

    get_json_object(line,'$.common.md'),

    get_json_object(line,'$.common.mid'),

    get_json_object(line,'$.common.os'),

    get_json_object(line,'$.common.uid'),

    get_json_object(line,'$.common.vc'),

    get_json_object(line,'$.page.during_time'),

    get_json_object(line,'$.page.item'),

    get_json_object(line,'$.page.item_type'),

    get_json_object(line,'$.page.last_page_id'),

    get_json_object(line,'$.page.page_id'),

    get_json_object(line,'$.page.sourceType'),

    get_json_object(action,'$.action_id'),

    get_json_object(action,'$.item'),

    get_json_object(action,'$.item_type'),

    get_json_object(action,'$.ts')

from ods_log lateral view explode_json_array(get_json_object(line,'$.actions')) tmp as action

where dt='2020-06-14'

and get_json_object(line,'$.actions') is not null;

3）查看数据

hive (gmall)>

select * from dwd_action_log where dt='2020-06-14' limit 2;

4.1.6 曝光日志表

曝光日志解析思路：曝光日志表中每行数据对应一个曝光记录，一个曝光记录应当包含公共信息、页面信息以及曝光信息。先将包含display字段的日志过滤出来，然后通过UDTF函数，将display数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。

1）建表语句

hive (gmall)>

drop table if exists dwd_display_log;

CREATE EXTERNAL TABLE dwd_display_log(

    `area_code` string COMMENT '地区编码',

    `brand` string COMMENT '手机品牌',

    `channel` string COMMENT '渠道',

    `model` string COMMENT '手机型号',

    `mid_id` string COMMENT '设备id',

    `os` string COMMENT '操作系统',

    `user_id` string COMMENT '会员id',

    `version_code` string COMMENT 'app版本号',

    `during_time` bigint COMMENT 'app版本号',

    `page_item` string COMMENT '目标id ',

    `page_item_type` string COMMENT '目标类型',

    `last_page_id` string COMMENT '上页类型',

    `page_id` string COMMENT '页面ID ',

    `source_type` string COMMENT '来源类型',

    `ts` bigint COMMENT 'app版本号',

    `display_type` string COMMENT '曝光类型',

    `item` string COMMENT '曝光对象id ',

    `item_type` string COMMENT 'app版本号',

    `order` bigint COMMENT '出现顺序'

) COMMENT '曝光日志表'

PARTITIONED BY (dt string)

stored as parquet

LOCATION '/warehouse/gmall/dwd/dwd_display_log'

TBLPROPERTIES('parquet.compression'='lzo');

2）数据导入

hive (gmall)>

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

insert overwrite table dwd_display_log partition(dt='2020-06-14')

select

    get_json_object(line,'$.common.ar'),

    get_json_object(line,'$.common.ba'),

    get_json_object(line,'$.common.ch'),

    get_json_object(line,'$.common.md'),

    get_json_object(line,'$.common.mid'),

    get_json_object(line,'$.common.os'),

    get_json_object(line,'$.common.uid'),

    get_json_object(line,'$.common.vc'),

    get_json_object(line,'$.page.during_time'),

    get_json_object(line,'$.page.item'),

    get_json_object(line,'$.page.item_type'),

    get_json_object(line,'$.page.last_page_id'),

    get_json_object(line,'$.page.page_id'),

    get_json_object(line,'$.page.sourceType'),

    get_json_object(line,'$.ts'),

    get_json_object(display,'$.displayType'),

    get_json_object(display,'$.item'),

    get_json_object(display,

最低0.47元/天 解锁文章
weixin_39458365
关注
大数据项目--电商业务数据仓库
weixin_44815022的博客
08-20 2922
提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、电商业务与数据结构简介1.1 电商业务流程图1.2 数据表结构1.2.1 电商常识 (SKU,SPU)1.2.2 订单表(order_info)订单详情表 (order_detail)1.2.4 商品表（sku_info）1.2.5 用户表（user_inf)1.2.6 商品一级分类表（base_cat
大数据项目---电商数仓（二）
m0_47489229的博客
01-16 564
数据仓库
33 大数据项目之电商数仓（电商数据仓库系统）
09-14 3891
文章目录第 1 章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范第 2 章 数仓理论2.1 范式理论2.2 关系建模与维度建模2.3 维度表和事实表（重点）2.4 数据仓库建模（绝对重点）第 3 章 数仓搭建-ODS 层3.1 创建数据库3.2 ODS 层（用户行为数据）3.3 ODS 层（业务数据）第 4 章 数仓搭建-DWD 层4.1 DWD 层（用户行为启动表数据解析）4.2 DWD 层（用户行为事件表数据解析）4.3 DWD 层（用户行为事件表获取）4.4 DWD
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例
helloxiaozhe的博客
11-08 3142
hive表生成函数explode、stack、lateral view和json_tuple、parse_url_tuple示例
Hive使用lateral view和explode处理嵌套json
呼呼的小窝
07-31 4110
最近有个需求，需要解析数仓中某张表的某个字段，该字段为Json，且为嵌套的多层Json，Json格式如下： 由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写 需求是需要提取出每个这种json中所有的brandName 思路1： 思路2： 思路3： ...
大数据项目之电商数仓（4即席查询数据仓库）.docx
11-18
大数据项目之电商数仓（4即席查询数据仓库） 本文档是关于大数据项目之电商数仓的详细介绍，特别是关于Presto即席查询数据仓库的设计和实现。下面是从标题、描述、标签和部分内容中提炼出的知识点： Presto 概念 ...
尚硅谷大数据项目之电商数仓用户行为采集平台1
08-04
【尚硅谷大数据项目之电商数仓用户行为采集平台1】是一个综合性的教程，旨在教授如何构建一个电商领域的数据仓库，特别关注用户行为数据的采集。本项目涵盖了从数据仓库的基本概念到具体实施的各个阶段，包括项目...
尚硅谷大数据项目之电商数仓业务数据采集平台1
08-04
在本项目"尚硅谷大数据项目之电商数仓业务数据采集平台1"中，主要探讨了电商领域的业务流程、关键概念以及涉及的相关数据表结构。以下是详细的解析： 1. **电商业务流程** 电商业务流程涵盖从用户浏览商品、下单...
大数据项目之电商数仓（4电商数据仓库系统）V6.0
最新发布
08-07
大数据项目之电商数仓（4电商数据仓库系统）V6.0
尚硅谷大数据项目之电商数仓电商数据仓库系统1
08-04
【尚硅谷大数据项目之电商数仓电商数据仓库系统1】主要涵盖了数据仓库的构建和理论，包括数仓分层、命名规范、范式理论、关系建模与维度建模，以及核心的维度表和事实表。 1. **数仓分层**：数据仓库的分层设计是...
业务场景中Hive解析Json常用案例
wt334502157的博客
12-04 1415
json_serde库提供了一种在Hive中直接将JSON格式的数据解析成表的方式，可简化处理流程。现在希望建立一张表，使得表可以直接映射上数据文件hive中建表age int,将json文件上传至建表对应hdfs路径# 也可以通过hive的sql命令行直接load数据文件查看表数据验证可以看到数据文件8行记录，成功映射对应了hive中wangt_666_json表的8条数据。
Hive lateral view ,get_json_object,json_tuple 用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 1万+
要确保被解析的字段是string类型才可以使用json解析.解析map类型不能使用json解析，解析map类型可以使用col_name['key']获取对应key的value. 【Hive】解析json（get_json_object）https://blog.csdn.net/qq_34105362/article/details/80454697 lateral view：如果指定字段名...
HIVE 解析json和jsonarray
wertd_fgegg的博客
09-22 1057
hive 解析json和jsonarray
Hive Lateral View + explode 详解
大数据
04-28 1万+
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数 UDF：一进一出 UDAF:聚集函数，多进一出，类似于：count/max/min UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段 百度explode()时，经常会出现lateral view + explode相关的文章，很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要，不然过程都不知道实现的，换个UDTF函数就不会使用了。 ..
电商数仓项目----笔记一(用户数据的采集)
zmx_messi的博客
11-25 1038
数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等；比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。用户行为数据通常存储在日志文件中。
Doris-(六)-1.0 新特性
大数据知识梳理
12-28 2056
Doris1.0 新特性
hive 的lateral view 与 explode函数详解
正不压邪~ 一个不走正道的程序员~
06-08 1516
文章目录前言EXPLODELATERAL VIEW 前言 explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）， 本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中， 用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与lateral view在这种场景下大
hive LATERAL VIEW explode和get_json_object
u011500419的专栏
09-26 455
文件m: a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9| [{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"}, {"source":"jd","monthSales":2090,"userCount":78981,"score":"9.8"}, {"source":"jdmart","monthSales":6987,"userCount":1600,"score":"..
hive中的lateral view 与 explode函数的使用
热门推荐
guodong2k的博客
03-06 13万+
explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，exp...
尚硅谷大数据项目：电商分析平台Spark实现
"尚硅谷大数据项目之电商分析平台，基于Spark框架进行离线和实时分析电商网站日志，实现用户行为分析，包括访问行为、购物行为、广告点击行为等，帮助提升公司业绩。项目涵盖了SparkCore、SparkSQL、SparkStreaming...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值