30-kafka流入到数仓时，通常流入到哪一层？ODS ？然后在 DWD 去重？

已于 2023-03-26 15:18:48 修改
阅读量297 收藏
点赞数
分类专栏： kafka面经复习 文章标签： kafka java 大数据
于 2023-03-26 15:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxing_ba/article/details/129779736
版权

在实时数仓中，一般会使用 Kafka 作为 ODS 层、DWD 层的存储引擎

1、将原始日志数据直接发送到 kafka 消息队列中，作为 ODS 层
2、Flink 从 Kafka （ODS 层）中读取数据，对数据进行过滤，去重，补全空值等操作之后，再写到 Kafka 中，此时的 Kafka 作为 DWD 层。
3、Flink 继续从 Kafka （DWD 层）中读取数据，此时需要与维表（DIM层）进行聚合操作，统计一些指标，得到一张大宽表字段，将其存储到 ClickHouse （DWS 层）

在这里插入图片描述

大数据捌圆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
- 为什么使用消息队列？ - 消息队列有什么优点和缺点？ - Kafka、ActiveMQ、RabbitMQ、RocketMQ
02-14
- 为什么使用消息队列？ - 消息队列有什么优点和缺点？ - Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？
实时数仓-mysql业务数据采集到kafka的ODS层(Canal+Protobuf+Kafka)
weixin_43861104的博客
01-13 1194
1.简介 本篇使用Cnal监控mysql中binglog日志的变化，解析二进制日志为map类型的数据，并引入Protobuf实现对象的序列化，写入到kafka，生成实时数仓ODS层的原始数据。 2.代码实现 2.1项目的入口 package com.bigdata.app; import com.bigdata.client.CanalClient; /** * @ description: 项目启动类 * @ author: spencer * @ date: 2021/1/12 13:41
同时更改一条数据_数据仓库&面试总结
weixin_40007668的博客
11-10 653
一、数据仓库分为几层？负责什么职责？为什么要分层？1、数据仓库分为4层： ODS层 （原始数据层） DWD层 （明细数据层） DWS层 （服务数据层）ADS层 （数据应用层）2、主要负责职责，如下：ODS层（原始数据层）：存放原始数据，直接加载原始日志、数据，数据保存原貌...
实时数仓1
Kevin__Durant的博客
04-08 1105
实时数仓 离线→实时 介绍 从某种角度而言，实时数仓是针对基础实时应用的优化版，避免实时处理的烟囱式发展，分层管理，数仓思想，逻辑、性能优化，提高了代码的复用率和整体生产效率。 从离线到实时的角度而言，实时性更强了，能够满足即时性的需求，数据本身的价值有所增加。 抛出问题 有离线数仓了，做实时数仓，是否能兼顾到以前的指标体系，是不是可以直接替代？ 类似于画像体系是否可以在此基础上进行构建？ 实...
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
m0_47139992的博客
11-27 1428
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
flink-connector-kafka-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-...
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar； 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：...
confluent-kafka-python:Confluent的Kafka Python客户端
04-12
confluent-kafka-python提供了与所有兼容的高级Producer，Consumer和AdminClient 经纪人> = v0.8， 和。 客户是： 可靠-它是 （通过二进制车轮自动提供）的包装，已在各种生产场景中广泛部署。 它使用Java客户端，...
flink-connector-kafka-base-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-base_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-base_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-base_2.11-1.10.0-sources.jar； 赠送Maven...
Offset Explorer SASL/PLAIN和SASL/SCRAM方式连接kafka
最新发布
佛陀爱老虎的博客
05-16 212
SASL/PLAIN SASL/SCRAM
Kafka的安装及接入SpringBoot
LB_bei的博客
05-11 1136
Kafka 是一种高性能、分布式的消息队列系统，最初由 LinkedIn 公司开发，并于2011年成为 Apache 顶级项目。它设计用于处理大规模的实时数据流，具有高吞吐量、低延迟、持久性等特点，被广泛应用于构建实时数据管道、日志收集、事件驱动架构等场景。
kafka的简单使用
weixin_42594143的博客
05-10 964
kafka的简单使用
Kafka从0到消费者开发
Rubik Blog
05-09 400
多台机器启动集群环境，配置改动很少，都很简单。其他的按照正常上面的流程，重新启动即可。
初识kafka
weixin_43539320的博客
05-06 1405
发布与订阅系统：数据的发送者不会直接把消息发送给接收者；发布者以某种方式对消息进行分类，接收者通过订阅他们来接收特定类型的消息。发布与订阅系统也是事件驱动型程序的关键组件。
05、Kafka 操作命令
baidu_41907361的博客
05-10 971
（1）创建主题–bootstrap-server：设置kafka执行节点–topic：主题名称–partitions：设置分区数，可以用于并发消费。–replication-factor：设置副本因子，数量不能大于kafka节点数。（2）查看主题（3）在我们配置的文件夹下，就可以看到topic对应的文件夹，其中 0,1,2,3是因为我们指定的partitions为4，创建了4个分区。
Kafka 执行命令超时异常： Timed out waiting for a node assignment
baidu_41907361的博客
05-10 359
而我的环境是使用了三台虚拟机，分别部署了zookeeper和kafka，所以在没有指定的情况下，默认都是使用localhost，在执行命令的时候，会找不到对应的ip地址。由于刚学习 kafka搭建集群，根据网上教程来，教程中三台kafka都部署在同一台机器上，所以不需要额外指定kafka实力的ip地址。将三台机器的配置ip改为虚拟机ip地址。通过在zookeeper上查看节点信息，其中ip信息也改成了真实ip信息。修改保存后，再去重启kafka。
Windows 11 下 kafka 的安装踩坑
qq_44581505的博客
05-14 300
（推荐）
Kafka应用Demo：生产者自定义消息分区方法
Neo.Yang的专栏
05-10 332
下面以一个简单的例子举例，要求key为Tom的消息放1号分区，key为Alice的消息放2号分区。实际项目使用什么样的分区算法需要根据业务场景来决定。/*** 自定义分区算法*/// 分区数量@Override// 未指定分区键，使用轮循分区（指定了key的消息不参与轮循）// 基于业务的约定. 某些消息放到固定的分区return 1;return 2;// 其它情况按key的哈希值分区@Override@Override> map) {
ods的数据到dwd层
07-28
ods的数据到dwd层的处理包括ETL过滤空值数据和实现动态分流功能。首先，需要对从Flink-CDC采集到的业务数据进行简单的过滤，将空值数据筛选掉。这样可以确保数据的准确性和完整性。其次，需要实现动态分流功能，将数据按照一定的规则进行分流，以便后续的处理和分析。具体的实现可以通过配置表来确定字段和规则，使用Flink-CDC处理配置表，将配置信息加载到程序中。然后，可以使用Phoenix作为维度数据的存储选择，处理广播数据和主流数据，并将数据写入HBase和Kafka中。这样就完成了ods层业务数据到dwd层的处理。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Flink实时数仓项目—ODS层业务数据到DWD层](https://blog.csdn.net/yunweijie_cn/article/details/124123626)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值