数仓（八）从0到1简单搭建加载数仓DWD层（用户行为日志数据解析）

最新推荐文章于 2024-05-28 09:25:21 发布
最新推荐文章于 2024-05-28 09:25:21 发布
阅读量750 收藏 6
点赞数
文章标签： java python hive 大数据 hadoop
原文链接：https://mp.weixin.qq.com/s?__biz=MzUyMDA4OTY3MQ==&mid=2247503593&idx=1&sn=9a8444c5ed5ebc4f3d0f290a1a63879e&chksm=f9ed37c1ce9abed781e4507e8e6356fa8c4fc8fa38d33c6272c46e738832a2ffe1fc68fbe08d&scene=126&&sessionid=0
版权

数仓（一）简介数仓，OLTP和OLAP

数仓（二）关系建模和维度建模

数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构

数仓（四）数据仓库分层

数仓(五)元数据管理系统解析

数仓（六）从0到1简单搭建数仓ODS层(埋点日志 + 业务数据)

数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理

上一节我们讲解了数仓DIM维度层的搭建和使用，并且讲解了拉链表的概念和使用。这节我们讲解DWD层关于用户行为日志数据的搭建和使用。下一次分享DWD层关于业务数据的搭建和使用。

一、DWD层用户行为日志解析结构

DWD层是对用户的日志行为进行解析，以及对业务数据采用维度模型的方式重新建模（维度退化）。本节我们先来回顾一下用户行为日志的结构。

1、前端埋点日志信息

前端埋点日志信息都是JSON格式形式，主要包括两方面：

（1）启动日志；（2）事件日志；

我们之前已经把前端埋点的日志信息，写到ODS层ods_log表了，传入的参数是一个String类型字符串即一条日志信息一个String类型字符串。

4c468e9f18734d2a4c32ad1eed856765.png

2、日志解析思路

我们根据ODS层日志数据内容来解析到DWD层分为5个表，也可以根据启动日志和事件日志来解析到DWD层分为2个表。前者是根据内容抽象来解析，颗粒度更细，一般大公司使用。后者比较简单就是根据数据的类型来解析。我们这里采用第一种方式，把页面日志和启动日志信息的数据需要装载到DWD层里面的五张表。所以DWD层就是解析这五张表。

30aae8ca9a3219d034fcc186fef87dac.png

我们下面来依次解析每一张表。

二、DWD层-启动日志表

启动日志表中每一行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。

常规解析思路是：可以先将所有包含start字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

1、启动日志表结构

  • 分区：

        dt = 2020-06-14

  • 过滤条件：

        利用get_json_object函数，解析start内容不为空说明是启动日志信息；

  • 范围

        包括：公共信息common、启动信息start、启动app时间ts;

2fddc793023d64b1b46d984c5e907980.png

2、创建表结构

DROP TABLE IF EXISTS dwd_start_log;
CREATE EXTERNAL TABLE dwd_start_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `entry` STRING COMMENT 'icon手机图标 notice 通知 install 安装后启动',
    `loading_time` BIGINT COMMENT '启动加载时间',
    `open_ad_id` STRING COMMENT '广告页ID ',
    `open_ad_ms` BIGINT COMMENT '广告总共播放时间',
    `open_ad_skip_ms` BIGINT COMMENT '用户跳过广告时点',
    `ts` BIGINT COMMENT '时间'
) COMMENT '启动日志表'
PARTITIONED BY (`dt` STRING) -- 按照时间创建分区
STORED AS PARQUET -- 采用parquet列式存储
LOCATION '/warehouse/gmall/dwd/dwd_start_log' -- 指定在HDFS上存储位置
TBLPROPERTIES('parquet.compression'='lzo') -- 采用LZO压缩;

3、装载数据

首日和每日加载数据分区都是一样的策略，每天DWD层从ODS层获取数据后加载。

9c999e92bc9dbea3949d5e0c27f70733.png

SQL实现

insert overwrite table dwd_start_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.start.entry'),
    get_json_object(line,'$.start.loading_time'),
    get_json_object(line,'$.start.open_ad_id'),
    get_json_object(line,'$.start.open_ad_ms'),
    get_json_object(line,'$.start.open_ad_skip_ms'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2020-06-14'
and get_json_object(line,'$.start') is not null;

注意：这里hive需要使用HiveInputFormat，而不是CombineHiveInputFormat

SET hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

后者不能识别lzo.index的索引文件，会把索引文件当做普通文件来处理，并且导致lzo文件无法切片。而ODS层数据我们处理的时候是带lzo索引文件的。

三、DWD层-页面日志表

页面日志表和启动日志表的处理逻辑一样。页面日志表中每一行数据对应一个页面的访问记录，一个页面访问记录应该包含日志中的公共信息和页面信息。

常规解析思路是：也是先将所有包含page字段的日志过滤出来，然后使用get_json_object函数解析每个字段。

1、页面日志表结构

  • 分区：

        dt = 2020-06-14

  • 过滤条件：

        利用get_json_object函数，解析page内容不为空说明是页面日志信息；

  • 范围

        包括：公共信息common、页面信息page、启动app时间ts;

da5644a1e0635d547edbc8b9e386d865.png

3、创建表结构

drop table if exists dwd_page_log;
CREATE EXTERNAL TABLE dwd_page_log(
    `area_code` string COMMENT '地区编码',
    `brand` string COMMENT '手机品牌', 
    `channel` string COMMENT '渠道', 
    `model` string COMMENT '手机型号', 
    `mid_id` string COMMENT '设备id', 
    `os` string COMMENT '操作系统', 
    `user_id` string COMMENT '会员id', 
    `version_code` string COMMENT 'app版本号', 
    `during_time` bigint COMMENT '持续时间毫秒',
    `page_item` string COMMENT '目标id ', 
    `page_item_type` string COMMENT '目标类型', 
    `last_page_id` string COMMENT '上页类型', 
    `page_id` string COMMENT '页面ID ',
    `source_type` string COMMENT '来源类型', 
    `ts` bigint
) COMMENT '页面日志表'
PARTITIONED BY (dt string)
stored as parquet
LOCATION '/warehouse/gmall/dwd/dwd_page_log'
TBLPROPERTIES('parquet.compression'='lzo');

4、装载数据

和启动日志表一样，首日和每日加载数据分区都是一样的策略，每天DWD层从ODS层获取数据后加载。

insert overwrite table dwd_page_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.page.during_time'),
    get_json_object(line,'$.page.item'),
    get_json_object(line,'$.page.item_type'),
    get_json_object(line,'$.page.last_page_id'),
    get_json_object(line,'$.page.page_id'),
    get_json_object(line,'$.page.sourceType'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2020-06-14'
and get_json_object(line,'$.page') is not null;

四、DWD层-动作日志表

动作日志表，比前面启动日志和页面信息表要复杂的多。动作日志表中每行数据对应的是用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。

常规解析思路是：先将包含action字段的日志过滤出来，然后通过UDF、UDTF函数（用户定义表生成函数user-defined table-generating function）将action数组“炸裂”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。

1、页面日志表结构

6c29f02a5cc209faeb813066caaf869e.png

根据图示我们可以看到：

(1)需要自定义创建UDTF函数

来完成对actions动作数组的“炸裂”，实现“一行输入，多行输出”的需求。即输入JSON数组字符串actions,输出每一个JSON数组元素action。

(2)然后通过get_json_object(action,$action元素字段)获取信息；

  • 分区：

        dt = 2020-06-14

  • 过滤条件：

      利用get_json_object函数，解析actions内容不为空；

  • 范围

        包括：公共信息common、页面信息page、动作信息、启动app时间ts;

2、创建表结构

drop table if exists dwd_action_log;
CREATE EXTERNAL TABLE dwd_action_log(
    `area_code` string COMMENT '地区编码',
    `brand` string COMMENT '手机品牌', 
    `channel` string COMMENT '渠道', 
    `model` string COMMENT '手机型号', 
    `mid_id` string COMMENT '设备id', 
    `os` string COMMENT '操作系统', 
    `user_id` string COMMENT '会员id', 
    `version_code` string COMMENT 'app版本号', 
    `during_time` bigint COMMENT '持续时间毫秒', 
    `page_item` string COMMENT '目标id ', 
    `page_item_type` string COMMENT '目标类型', 
    `last_page_id` string COMMENT '上页类型', 
    `page_id` string COMMENT '页面id ',
    `source_type` string COMMENT '来源类型', 
    `action_id` string COMMENT '动作id',
    `item` string COMMENT '目标id ',
    `item_type` string COMMENT '目标类型', 
    `ts` bigint COMMENT '时间'
) COMMENT '动作日志表'
PARTITIONED BY (dt string)
stored as parquet
LOCATION '/warehouse/gmall/dwd/dwd_action_log'
TBLPROPERTIES('parquet.compression'='lzo');

3、创建UDTF函数

我们通过java代码来实现功能，并且通过MAVEN来打成jar。然后上传到HDFS集群，给hive做关联调用。当然也可以使用hive自带的UDTF函数含来完成解析。但是后者必须是在hive的客户端完成，必须带hive库名，不够灵活。

3.1、编写java代码实现UDTF功能

1、pom.xml文件中hive版本依赖

我这里hive的版本是3.1.2

<dependencies>
    <!--添加hive依赖-->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>3.1.2</version>
    </dependency>
</dependencies>

2、项目工程结构

这个比较简单。

e39493dd8fe71d22ae33a42df1850fd4.png

3、ExplodeJSONArray类编写

思路是：

(1)ExplodeJSONArray继承hive的GenericUDTF类；

(2)实现initialize、process、close三个方法；

initialize方法：主要对解析的变量名、变量类型做校验

process方法：完成对“JSON数组炸裂成单一元素”的功能。这里是一行in，多行out，并且forward到元素里面

package com.qiusheng.hive.udtf;


import org.apache.hadoop.hive.ql.exec.MapredContext;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.json.JSONArray;


import java.util.ArrayList;
import java.util.List;


/**
 * @author qiusheng
 * @date 2021年11月04日
 *
 */
public class ExplodeJSONArray extends GenericUDTF
{


    /**
     *  1、第一步需要自定义的类继承GenericUDTF类
     *      并且重写initialize方法；
     *      返回StructObjectInspector对象
     *
     * @qiusheng
     * @param argOIs
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException
{
        //1、判断参数的合法性argOI实际就是actions
        //(1)判断参数的个数（需要传递一个参数）


        //如果传递的参数个数不是1个，则抛异常；
        if(argOIs.getAllStructFieldRefs().size() != 1)
        {
            throw new UDFArgumentException("参数个数错误！只需要1个参数......");


        }
        //(2)判断传递的参数类型，必须是String类型
        //如果不是string类型，则抛异常；
        if(!"String".equals(argOIs.getAllStructFieldRefs().get(0).getFieldObjectInspector().getTypeName()))
        {
            throw new UDFArgumentException("参数类型不对！应该是String类型......");
        }




        //2、返回StructObjectInspector对象
        //第一个参数:变量名，类型是List<String>数组;
        //第二个参数:检验变量，类型是List<ObjectInspector>;


        //定义返回值名称
        List<String> fieldNames = new ArrayList<String>();


        //定义返回值类型
        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();


        //把items添加到返回值名称
        fieldNames.add("items");


        //调用检验方法对items
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);


        //3、返回类型
        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
    }


    /**
     * 2、第二步重写process方法
     *
     * function：炸裂功能
     * @author qiusheng
     * @param objects
     * @throws HiveException
     */
    @Override
    public void process(Object[] objects) throws HiveException
{
        //1、获取传入的数据就是actions
        String jsonArray = objects.toString();


        //2、把传入的数据（string）类型转化为JSON数组JSONArray类型
        JSONArray actions = new JSONArray(jsonArray);


        //3、循环取出JSONArray对象中的JSON，并且写出来
        for (int i = 0;i < actions.length();i++)
        {
            //定义一个字符串数组，长度就是1
            String[] result = new String[1];
            //getString(i)把元素取出来，添加到这个数组中
            result[0] = actions.getString(i);
            //写到String数组里面
            forward(result);
        }
    }


    /**
     * @author qiusheng
     * @throws HiveException
     */
    @Override
    public void close() throws HiveException
{


  }
}

3.2、通过maven打成jar包

4e07df9704c476725704b3d4b700fa5c.png

3.3、上传jar包到hadoop集群路径下

(1)先上传jar包到CentOS集群的node1节点

f712a2b43c01d34272aa600af7394768.png

(2)上传到HDFS集群系统

先创建目录functions/hive/jars

[qiusheng@node01 module]$ hadoop fs -mkdir -p /functions/hive/jars

检查查看目录是否已经创建；

0d770bc9dbff347c1f79e08f524e9721.png

上传jar包到这个目录/functions/hive/jars

ea8c928e70b76da5d5aea03a987f4490.png

3.4、创建UDTF和jar包关联

在hive客户端,创建function关联jar包

hive (gmall)>
create function explode_json_array as 'com.qiusheng.hive.udtf.ExplodeJSONArray' using jar 'hdfs://mode01:8020/functions/hive/jars/HiveDWDActionLog-1.0-SNAPSHOT.jar';

4、装载数据

所需要的字段都拼接齐全了，我们来写装载语句。

insert overwrite table dwd_action_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.page.during_time'),
    get_json_object(line,'$.page.item'),
    get_json_object(line,'$.page.item_type'),
    get_json_object(line,'$.page.last_page_id'),
    get_json_object(line,'$.page.page_id'),
    get_json_object(line,'$.page.sourceType'),
    get_json_object(action,'$.action_id'),
    get_json_object(action,'$.item'),
    get_json_object(action,'$.item_type'),
    get_json_object(action,'$.ts')
from ods_log lateral view explode_json_array(get_json_object(line,'$.actions')) tmp as action
where dt='2020-06-14'
and get_json_object(line,'$.actions') is not null;

这里lateral view意思是：为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表action。

from ods_log lateral view explode_json_array(get_json_object(line,'$.actions')) tmp as action

这样我们动作日志表就完成了。

五、DWD层-曝光日志表

曝光日志表和动作日志表，解析一样。曝光日志表中每行数据对应一个曝光记录，一个曝光记录应当包含公共信息、页面信息以及曝光信息。

常规思路：先将包含display字段的日志过滤出来，然后通过UDTF函数，将display数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。

1、页面日志表结构

15df573d3e13e8a823a556f8d0989048.png

后面建表、做UDTF、一系列操作、装载数据和动作日志表一样。留给读者自行实践一下。

六、DWD层-错误日志表

动作日志表，比前面启动日志和页面信息表要复杂一些。错误日志表中每行数据对应一个错误记录，为方便定位错误，一个错误记录应当包含与之对应的公共信息、页面信息、曝光信息、动作信息、启动信息以及错误信息。先将包含err字段的日志过滤出来，然后使用get_json_object函数解析所有字段。

1、页面日志表结构

d76f4c2e576dfc4798957578d4a69edd.png

含有2个actions 、displays数组的UDTF炸裂。

2、创建表结构

drop table if exists dwd_error_log;
CREATE EXTERNAL TABLE dwd_error_log(
    `area_code` string COMMENT '地区编码',
    `brand` string COMMENT '手机品牌', 
    `channel` string COMMENT '渠道', 
    `model` string COMMENT '手机型号', 
    `mid_id` string COMMENT '设备id', 
    `os` string COMMENT '操作系统', 
    `user_id` string COMMENT '会员id', 
    `version_code` string COMMENT 'app版本号', 
    `page_item` string COMMENT '目标id ', 
    `page_item_type` string COMMENT '目标类型', 
    `last_page_id` string COMMENT '上页类型', 
    `page_id` string COMMENT '页面ID ',
    `source_type` string COMMENT '来源类型', 
    `entry` string COMMENT ' icon手机图标  notice 通知 install 安装后启动',
    `loading_time` string COMMENT '启动加载时间',
    `open_ad_id` string COMMENT '广告页ID ',
    `open_ad_ms` string COMMENT '广告总共播放时间', 
    `open_ad_skip_ms` string COMMENT '用户跳过广告时点',
    `actions` string COMMENT '动作',
    `displays` string COMMENT '曝光',
    `ts` string COMMENT '时间',
    `error_code` string COMMENT '错误码',
    `msg` string COMMENT '错误信息'
) COMMENT '错误日志表'
PARTITIONED BY (dt string)
stored as parquet
LOCATION '/warehouse/gmall/dwd/dwd_error_log'
TBLPROPERTIES('parquet.compression'='lzo');

注意：

对动作数组和曝光数组做处理，如需分析错误与单个动作或曝光的关联，可先使用explode_json_array函数将数组“炸开”，再使用get_json_object函数获取具体字

3、装载表数据

insert overwrite table dwd_error_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.page.item'),
    get_json_object(line,'$.page.item_type'),
    get_json_object(line,'$.page.last_page_id'),
    get_json_object(line,'$.page.page_id'),
    get_json_object(line,'$.page.sourceType'),
    get_json_object(line,'$.start.entry'),
    get_json_object(line,'$.start.loading_time'),
    get_json_object(line,'$.start.open_ad_id'),
    get_json_object(line,'$.start.open_ad_ms'),
    get_json_object(line,'$.start.open_ad_skip_ms'),
    get_json_object(line,'$.actions'),
    get_json_object(line,'$.displays'),
    get_json_object(line,'$.ts'),
    get_json_object(line,'$.err.error_code'),
    get_json_object(line,'$.err.msg')
from ods_log 
where dt='2020-06-14'
and get_json_object(line,'$.err') is not null;

这样我们就完成了最后一张表从ODS层到DWD层的解析。

3e1afc32a230ad5c97d6e2c3cbd24204.png

浪尖聊大数据-浪尖
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数仓建设 ｜ ODS、DWD、DWM等理论实战
04-02
数仓建设 ｜ ODS、DWD、DWM等理论实战
电商数仓项目(八) Flume 系列源码
03-19
电商数仓项目(八) Flume 系列源码
数据治理之数仓命名规范大全.pdf
05-30
一、数据运营层：ODS(Operational Data Store) ODS层，是最接近数据源中数据的一层，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即 可，至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。 二、数据仓库层：DW (Data Warehouse) 数据仓库层是我们在做数据仓库时要核心设计的一层，在这里，从 ODS 层中 获得的数据按照主题建立各种数据模型 。DW 层又细分为DWD(Data Warehouse Detail )层、DWM(DataWareHouse Middle )层和DWS(Data WareHouse Servce ) 。
数仓常用分层与维度建模
JIE的博客 --- moon_coder
04-19 792
维度建模是一种在数据仓库和商业智能领域常用的设计方法。它主要用于组织和表示数据，让用户可以方便地进行查询、分析和报告。维度建模的核心思想是将数据组织成维度和事实两类。维度是描述业务过程中各种特征的属性，如时间、地点、产品、客户等（例如：产品详情表），而事实则是与这些维度相关联的数值型数据，如销售额、数量、利润等（例如：产品销售表）。在维度建模中，通常采用星型模型或雪花模型，下面将从这两个方面展开说说。
Spark离线数仓Flink实时数仓项目源码+部署资料.rar
03-10
实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入) ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理 DIM:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键查询) Kafka:不能长期存储，有一些比较重要的用户信息需要长期存储的做不到,并且不提供根据主键的查询 × HBase:海量数据永久存储,根据主键快速查询 √ Redis:用户表数据量大,内存数据库 × ClickHouse:并发不行,列存 × ES:默认给所有字段创建索引 × Hive(HDFS):效率低下 × Mysql本身:压力太大,实在要用就使用从库 √ DWD:Kafka 使用场景:每过来一条数据,读取到并分组累加处理 DWS:ClickHouse 使用场景
高级Java人才培训专家-第三章：数仓ODS&DWD层建设
03-09
高级Java人才培训专家-第三章：数仓ODS&DWD层建设
数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理
大数据星球-浪尖
01-14 1870
数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六...
数据仓库(八)---hive的性能优化---hive动态分区
直到世界的尽头
02-27 4857
我们在上一篇文章中已经学习了如何进行分区，手动分区。 数据仓库(七)—hive的性能优化—hive的分区和分桶 但是分区之后 再插入数据时，并不会自动的进行分区，而是需要再次手动分区。 关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，...
4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）
Mmj666的博客
06-05 457
东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）
数仓-用户行为数据-埋点数据日志结构
想练武，就得下功夫
10-23 644
日志结构大致分为两类 1、普通页面埋点日志 每条日志包含当前页面的页面信息，所有事件（动作）、所有曝光信息以及错误信息。除此之外，还包含了一系列公共信息，包括设备信息，地理位置，应用信息等，即下边的common字段 2、启动日志 主要包含公共信息，启动信息和错误信息 ...
[hive]数仓分层|用户纬度拉链表|维度建模 旧
胖胖的博客
11-08 2031
雪花模型与星型模型的区别在于纬度的层级，标准的星型模型纬度只有一层，而雪花模型可能涉及多级。雪花模型比较接近三范式，但是无法完全遵守，因为遵守三范式的性能成本太高。
数据仓库知识(数仓建模以及分层).pdf
08-29
第十二章从0到1简单搭建加载数仓DWD层(用户行为日志数据解析) 第十三章从0到1简单搭建加载数仓DWD层(业务数据解析) 第十四章从0到1简单搭建加载数仓DWS层 第十五章从0到1简单搭建加载数仓DWT层 第十六章从0到1简单...
从0到1简单搭建加载数仓DWD层（业务数据解析）
huzechen的博客
12-28 741
来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。这节详解数仓DWD层（关于用户交易等业务数据）...
【答案】2023年国赛信息安全管理与评估正式赛答案-模块3 理论技能
Geek极安云科-致力于网络安全事业
01-22 1301
20、假设系统中有n个用户，他们使用对称加密体制实现保密通信，那么系统中共需要管理（ n(n-1)/2）个密钥，每个用户需要保存（ A ） 个密钥。14、________的目的是发现目标系统中存在的安全隐患，分析所使用的安全机制是否能够保证系统的机密性、完整性和可用性。35、在常见的安全扫描工具中，以下（ C ） 主要用来分析Web站点的漏洞，可以针对数千种常见的网页漏洞或安全风险进行检测。26、维吉利亚(Vigenere)密码是古典密码体制比较有代表性的一种密码，其密码体制采用的是（ C ）。
大数据项目之电商数仓、用户行为日志
Redamancy06的博客
10-23 967
代码埋点（前端/后端）、可视化埋点、全埋点、页面浏览记录、动作记录、曝光记录、启动记录和错误记录、页面日志，启动日志、曝光记录，记录的是曝光行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及曝光对象信息等、动作记录，记录的是用户的业务操作行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息 及动作目标对象信息等、页面浏览记录，记录的是访客对页面的浏览行为，该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息
【STM32学习】HAL库点灯学习
2301_78895982的博客
05-26 891
STM32基于HAL库流水灯实验_hel库安装教程中文版-CSDN博客t=N7T8。
operator ＜=＞ (spaceship operator)
最新发布
janeqi1987的专栏
05-28 896
= 与!= 操作符为了检查是否相等，现在定义== 操作符就够了。当编译器找不到表达式的匹配声明a!=b 时，编译器会重写表达式并查找!(a==b)。若这不起作用，编译器也会尝试改变操作数的顺序，所以也会尝试!(b==a):a!=b,!(b==a)因此，对于TypeA 的a 和TypeB 的b，编译器将能够识别并编译a!= b若需要的话，可以这样做• 一个独立函数operator!• 一个独立函数operator==(TypeA, TypeB)
Spring6基础笔记
质胜文则野，文胜质则史。文质彬彬，然后君子。
05-21 1208
Spring 是一款主流的 Java EE 轻量级开源框架 ，Spring 由“Spring 之父”Rod Johnson 提出并创立，其目的是用于简化 Java 企业级应用的开发难度和开发周期。Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角度而言，任何Java应用都可以从Spring中受益。Spring 框架除了自己提供功能外，还提供整合其他技术和框架的能力。Spring 自诞生以来备受青睐，一直被广大开发人员作为 Java 企业级应用程序开发的首选。时至今日，Spring 俨然
数仓DWD层进行数据清晰一般用什么方式去清洗？
06-13
在数仓DWD层进行数据清洗，一般采用以下方式： 1. 去重：对于重复数据，根据业务需求进行去重处理。 2. 缺失值处理：对于缺失值，可以采用填充、删除或者插值等方式进行处理。 3. 异常值处理：对于异常值，可以采用删除、替换或者分组处理等方式进行处理。 4. 数据类型转换：将数据转换为合适的数据类型，避免数据类型不匹配造成计算错误。 5. 数据格式化：将数据格式化为统一的格式，方便后续的数据处理。 6. 数据合并：将多个数据源的数据进行合并，去除冗余数据，提高数据的利用率。 7. 数据归一化：将数据进行归一化处理，避免不同数据量级对结果造成影响。 综上所述，数仓DWD层进行数据清洗是非常重要的，可以提高数据质量和数据利用率，为后续的数据处理和分析提供可靠的数据基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值