【实时数仓】DWD层需求分析及实现思路、idea环境搭建、实现DWD层处理用户行为日志的功能

最新推荐文章于 2024-04-19 11:44:45 发布
最新推荐文章于 2024-04-19 11:44:45 发布
阅读量1.2k 收藏 8
点赞数 2
分类专栏： 实时数仓 文章标签： kafka 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43923463/article/details/128226427
版权

文章目录

一 DWD层需求分析及实现思路

1 分层需求分析

建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。

这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。

在这里插入图片描述

2 每层的职能

分层数据描述生成计算工具存储媒介
ODS原始数据，日志和业务数据日志服务器，maxwellkafka
DWD根据数据对象为单位进行分流，比如订单、页面访问等等。FLINKkafka
DWM对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。FLINKkafka
DIM维度数据FLINKHBase
DWS根据某个维度主题将多个事实数据轻度聚合，形成主题宽表。FLINKClickhouse
ADS把Clickhouse中的数据根据可视化需要进行筛选聚合。Clickhouse SQL可视化展示

3 DWD层职能详细介绍

（1）用户行为日志数据

根据日志的不同类别做分流。

前端埋点中的数据全部放在kafka中ods_base_log主题中，如启动日志，页面访问日志，曝光日志等。虽然同是日志，但是却分为不同的种类，将来做数据统计时，全部从这一个主题中获取数据不方便。所以需要从ods_base_log主题中将数据取出来，根据日志的类型，将不同类型的数据放到不同的主题中，进行分流操作，如启动日志放到启动主题中，曝光日志放到曝光主题中，页面日志放到日志主题中。

（2）业务数据

根据业务数据的类型（维度 or 事实）做分流。

MySQL存储的业务数据中有很多张表，这些表分为两类，一类是事实表，一类是维度表。在采集数据时，只要业务数据发生变化就会通过maxwell采集到kafka的ods_base_db_m主题中，并没有区分事实和维度。如果是事实数据，希望将其放到kafka的不同单独主题中，如订单主题，订单明细主题，支付主题等。对于维度数据，不适合存放在kafka中，kafka不适合做长期存储，默认存储7天。海量数据的分析计算，同样不适合存放到MySQL中，因为在做分析计算时要不停的进行查询操作，给业务数据库造成很大的压力，且MySQL对于大量数据的查询，性能也较差。

在使用维度数据时，需要根据维度id查询出具体的数据，K-V型数据库比较适合存储维度数据，根据K获取V效率较高，KV数据库包括Redis和Hbase，Redis对于长期存储压力比较大，最终选择Hbase存储维度数据。

4 DWD层数据准备实现思路
  • 功能1：环境搭建。
  • 功能2：计算用户行为日志DWD层。
  • 功能3：计算业务数据DWD层。

二 环境搭建

1 创建maven工程

创建maven工程，gmall2022-realtime。

在这里插入图片描述

2 修改配置文件

（1）添加依赖

<properties>
    <java.version>1.8</java.version>
    <maven.compiler.source>${java.version}</maven.compiler.source>
    <maven.compiler.target>${java.version}</maven.compiler.target>
    <flink.version>1.12.0</flink.version>
    <scala.version>2.12</scala.version>
    <hadoop.version>3.1.3</hadoop.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.version}</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_${scala.version}</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_${scala.version}</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-cep_${scala.version}</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-json</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.68</version>
    </dependency>
    <!--如果保存检查点到hdfs上，需要引入此依赖-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <!--Flink默认使用的是slf4j记录日志，相当于一个日志的接口,这里使用log4j作为具体的日志实现-->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>1.7.25</version>
    </dependency>

    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.25</version>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-to-slf4j</artifactId>
        <version>2.14.0</version>
    </dependency>

</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.0.0</version>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

（2） 添加配置文件

在resources目录下创建log4j.properties配置文件

log4j.rootLogger=error,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

3 创建如下包结构

在这里插入图片描述

目录作用
app产生各层数据的flink任务
bean数据对象
common公共常量
utils工具类

三 准备用户行为日志-DWD层

前面采集的日志数据已经保存到Kafka中，作为日志数据的ODS层，从kafka的ODS层读取的日志数据分为3类，页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中，作为日志DWD层。

页面日志输出到主流，启动日志输出到启动侧输出流，曝光日志输出到曝光侧输出流。

1 主要任务

  • 识别新老用户：本身客户端业务有新老用户的标识，但是不够准确，需要用实时计算再次确认（不涉及业务操作，只是单纯的做个状态确认）。
  • 利用侧输出流实现数据拆分：根据日志数据内容,将日志数据分为3类, 页面日志、启动日志和曝光日志。页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光日志侧输出流。
  • 将不同流的数据推送下游的kafka的不同Topic中。

整体流程如下图：

在这里插入图片描述

2 分区、分组和分流

三者之间的关系和区别如下图：

在这里插入图片描述

3 代码实现

（1）接收Kafka数据，并进行转换

a 封装操作Kafka的工具类，并提供获取kafka消费者的方法（读）
/**
 * 操作kafka工具类
 */
public class MyKafkaUtil {
    private static final String KAFKA_SERVER = "hadoop101:9092,hadoop102:9092,hadoop103:9092";

    // 获取kafka的消费者
    public static FlinkKafkaConsumer<String> getKafkaSource(String topic,String groupId){
        Properties props = new Properties();
        props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,KAFKA_SERVER);
        // 定义消费者组
        props.setProperty(ConsumerConfig.GROUP_ID_CONFIG,groupId);
        return new FlinkKafkaConsumer<String>(topic,new SimpleStringSchema(),props);
    }
}
b Flink调用工具类读取数据的主程序
/**
 * 对日志数据进行分流操作
 *  启动、曝光、页面
 *    启动日志放到启动侧输出流中
 *    曝光日志放到曝光侧输出流中
 *    页面日志放到主流中
 *  将不同流的数据写回到kafka的dwd主题中
 */
public class BaseLogApp {
    public static void main(String[] args) throws Exception{
        // TODO 1 基本环境准备
        // 流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 设置并行度
        env.setParallelism(4);
        // TODO 2 检查点相关设置
        // 开启检查点
        // 每5S中开启一次检查点，检查点模式为EXACTLY_ONCE
        env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE);
        //   设置检查点超时时间
        env.getCheckpointConfig().setCheckpointTimeout(60000L);
        //   设置重启策略
        // 重启三次，每次间隔3s钟
        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3,3000L));
        //   设置job取消后，检查点是否保留
        env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        //   设置状态后端 -- 基于内存 or 文件系统 or RocksDB
        //   内存：状态存在TaskManager内存中，检查点存在JobManager内存中
        //   文件系统：状态存在TaskManager内存中，检查点存在指定的文件系统路径中
        //   RocksDB：看做和Redis类似的数据库，状态存在TaskManager内存中，检查点存在JobManager内存和本地磁盘上
        //   hadoop中nm的地址
        env.setStateBackend(new FsStateBackend("hdfs://hadoop101:8020/ck/gmall"));
        //   指定操作HDFS的用户
        System.setProperty("HADOOP_USER_NAME","hzy");
        // TODO 3 从kafka读取数据
        // 声明消费的主题和消费者组
        String topic = "ods_base_log";
        String groupId = "base_log_app_group";

        // 获取kafka消费者
        FlinkKafkaConsumer<String> kafkaSource = MyKafkaUtil.getKafkaSource(topic, groupId);
        // 读取数据，封装为流
        DataStreamSource<String> kafkaDS = env.addSource(kafkaSource);
        // TODO 4 对读取的数据进行结构的转换 jsonStr -> jsonObj
//        // 匿名内部类实现
//        SingleOutputStreamOperator<JSONObject> jsonObjDS = kafkaDS.map(
//                new MapFunction<String, JSONObject>() {
//                    @Override
//                    public JSONObject map(String jsonStr) throws Exception {
//                        return JSON.parseObject(jsonStr);
//                    }
//                }
//        );
//        // lambda表达式实现
//        kafkaDS.map(
//                jsonStr -> JSON.parse(jsonStr)
//        );

        // 方法的默认调用，注意导入的是alibaba JSON包
        SingleOutputStreamOperator<JSONObject> jsonObjDS = kafkaDS.map(JSON::parseObject);

        jsonObjDS.print(">>>");

        // TODO 5 修复新老访客状态

        // TODO 6 按照日志类型对日志进行分流

        // TODO 7 将不同流的数据写到kafka的dwd不同主题中


        env.execute();
    }
}
c 测试
# 启动zookeeper
# 启动kafka
# 启动采集服务
logger.sh start
# 启动nm以将检查点保存到hdfs上
start-dfs.sh
# 等待安全模式关闭，启动主程序，如果出现权限问题，可以将权限放开
hdfs dfs -chmod -R 777 /
# 或者增加以下代码到主程序中
System.setProperty("HADOOP_USER_NAME","hzy");
# 程序运行起来后，启动模拟生成日志数据jar包，在主程序中可以接收到数据
OneTenTwo76
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数仓搭建-DWD层
qq_43827516的博客
11-10 900
4.1 DWD层（用户行为日志解析） 4.1.1 日志格式回顾 （1）页面埋点日志 （2）启动日志 4.1.2 get_json_object函数使用 1）数据 [{“name”:“大郎”,“sex”:“男”,“age”:“25”},{“name”:“西门庆”,“sex”:“男”,“age”:“47”}] 2）取出第一个json对象 hive (gmall)> select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
m0_47139992的博客
12-18 1694
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
【黑马甄选离线数仓day06_核销主题域开发】
LKL的博客
11-28 521
核销主题域开发_DWD和DWM层
离线数仓-03-数仓系统搭建(ODS,DIM,DWD,DWS,ADS)
迷雾总会解
05-31 1661
主要是介绍数仓系统的基础概念和理论，以及基于理论进行的项目数仓搭建，主要是基于Hive搭建了ODS、DIM、DWD、DWS、ADS这几层。
数仓常用分层与维度建模
最新发布
JIE的博客 --- moon_coder
04-19 1113
维度建模是一种在数据仓库和商业智能领域常用的设计方法。它主要用于组织和表示数据，让用户可以方便地进行查询、分析和报告。维度建模的核心思想是将数据组织成维度和事实两类。维度是描述业务过程中各种特征的属性，如时间、地点、产品、客户等（例如：产品详情表），而事实则是与这些维度相关联的数值型数据，如销售额、数量、利润等（例如：产品销售表）。在维度建模中，通常采用星型模型或雪花模型，下面将从这两个方面展开说说。
数仓DWD层(明细层-data warehouse detail)的构建
s1275200879的博客
02-10 592
(2)事实表跟维度表：事实表是指其中保存了大量业务度量数据的表，是数仓最核心的表。比如说你做一个销售主题，那么ods中的 订单详情表 就是事实表，而 产品分类表、区域表、店铺表就是维度表。比如我有100w用户，用户表记录了他们的状态，如果部分用户状态每天都有更新，我采用每天存全量用户数据的方式来记录历史和更新的状态，这样极大浪费存储空间，我用拉链表的话，每天把跟新用户的数据插入到用户表，这样既保留了历史数据，并且使存储最为节约。总结: 这层主要是清洗、转换数据，区分事实表跟维度表构建拉链表。
【实时数仓】CDC简介、实现DWD层业务数据的处理（主要任务、接收kafka数据、动态分流*****）
weixin_43923463的博客
12-14 2305
CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlog两种方式，主要了解一下这两种之间的区别：Flink社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。目前也已开源，参
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
架构文摘
11-05 5051
一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。1、分层意义1）清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行...
10.数据仓库搭建之DWD层搭建
Mmj666的博客
07-14 2932
10.数据仓库搭建之DWD层搭建
实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建
10-19
用户行为数据的处理通常采用分层架构，常见的有ODS（Operational Data Store）、DWD（Data Warehouse Detail）、DWS（Data Warehouse Summary）和ADS（Application Data Service）四层。 - ODS层：原始数据层，保存...
高级Java人才培训专家-第三章：数仓ODS&DWD层建设
03-09
高级Java人才培训专家-第三章：数仓ODS&DWD层建设
数仓建设 ｜ ODS、DWD、DWM等理论实战
04-02
数仓建设 ｜ ODS、DWD、DWM等理论实战
02_DWD层数据准备_V2.0.pdf
11-03
5. DWD 层数据准备的实现思路：包括环境搭建、计算用户行为日志 DWD 层、计算业务数据 DWD 层等。 6. 环境搭建：包括新建模块、创建包结构、修改配置文件等步骤。 7. Flink 任务的开发：包括产生各层数据的 Flink ...
基于阿里云搭建实时数据仓库项目项目需求及架构设计.pdf
01-06
"基于阿里云搭建实时数据仓库项目需求及架构设计" 本文档主要讲述基于阿里云搭建实时数据仓库项目的需求和架构设计。该项目的目的是学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程...
从0到1简单搭建加载数仓DWD层（业务数据解析）
huzechen的博客
12-28 758
来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。这节详解数仓DWD层（关于用户交易等业务数据）...
【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集
weixin_43923463的博客
12-09 2572
普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差（如B想要使用A的结果），开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性（如e可以直接使用b的结果）。项目分为以下几层离线计算：就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出
数仓搭建DWD层
noob9527的博客
04-16 3049
尚硅谷电商数仓DWD层
DWD层数据准备
chbxw
03-08 499
一、需求分析及实现思路 1.1、 分层需求分析   建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从 kafka 的 ods 层读取用户行为日志以及业务数据，并进行简单处理，写回到 kafka 作为 dwd 层。 1.2、 每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS 原始数据，日志和业务数据 日志服务器，maxwell/canal kafka DWD 根据数据对象为单位进行分流，比如订单
9. 数仓开发之 DWD 层
记录点点滴滴
03-28 2328
数仓开发之 DWD 层交易域加购事务事实表 DWD层设计要点： DWD 层的设计依据 : 维度建模理论，该层存储维度模型的事实表 DWD 层的数据存储格式 : orc 列式存储 + snappy 压缩 DWD 层表名的命名规范 : dwd_数据域_表名_单分区增量****全量标识（ inc / full ） 交易域加购事务事实表 ...
kafka的dwd层
11-23
Kafka的DWD层是指数据仓库层，它是数据处理的重要一环。在Kafka中，DWD层通常是指对ODS层数据进行处理后，将处理后的数据写回到Kafka中的另一个主题中，作为数据仓库层。在这个过程中，可以对数据进行清洗、过滤、转换等操作，以满足不同的业务需求。具体实现方式可以使用Kafka Streams或者Spark Streaming等流处理框架来完成。 下面是一个使用Kafka Streams实现DWD层的示例代码： ```java // 创建Kafka Streams配置 Properties props = new Properties(); props.put(StreamsConfig.APPLICATION_ID_CONFIG, "dwd-app"); props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass()); props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass()); // 创建Kafka Streams拓扑 StreamsBuilder builder = new StreamsBuilder(); KStream<String, String> odsStream = builder.stream("ods-topic"); KStream<String, String> dwdStream = odsStream .filter((key, value) -> value.contains("some condition")) .mapValues(value -> transform(value)); dwdStream.to("dwd-topic"); // 创建Kafka Streams实例并启动 KafkaStreams streams = new KafkaStreams(builder.build(), props); streams.start(); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OneTenTwo76

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值