湖仓一体电商项目（一）：项目背景和架构介绍

最新推荐文章于 2024-12-31 10:05:24 发布
最新推荐文章于 2024-12-31 10:05:24 发布
阅读量588 收藏 2
点赞数 1
分类专栏： 面试 学习路线 阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67403013/article/details/126081484
版权
本文介绍了基于某宝商城的湖仓一体实时电商项目，涉及大数据技术、实时到离线数据指标分析和数据可视化。项目采用Flink + Kafka结合Iceberg实现数据湖，解决Kafka在实时数仓中的局限，构建批流一体的架构，以提高数据报表的时效性，并保证数据一致性。数据源经过Flink处理后存储在Iceberg的ODS层，分析结果存储在Clickhouse和MySQL，供实时和离线分析，最终通过可视化工具展示。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
精品推荐-湖仓一体电商数据分析平台实践教程合集（视频教程+设计文档+完整项目代码）.zip
03-30
精品推荐，湖仓一体电商数据分析平台实践教程合集，包含视频教程、设计文档及完整项目代码等资料，供大家学习。 1、项目背景介绍及项目架构 2、项目使用技术版本及组件搭建 3、项目数据种类与采集 4、实时业务统计...
电商行业实时数仓项目1
08-04
1.1 项目背景 1.2 实时数仓转型故事： 1.2.1 离线数仓： 1.2.2 离线数仓分层架构图： 1.2.3 实时计算架构： 1.2.4 流量 1.2.5
了解电商行业项目背景
小赵的博客
10-11 1454
当我们要接触电商项目的时候，往往需要来了解一下电商行业的一些信息。
湖仓一体：数据未来之路
最新发布
像豆芽一样优秀
12-31 990
湖仓一体架构是针对数据存储的一种架构,主要还是针对企业级系统大数据存储及治理的一种架构方案。
数据仓库架构（二）湖仓一体化架构
weixin_53439529的博客
10-23 1882
大数据、数据库、数据湖、数据仓库、湖仓一体化到智能湖仓。
论湖仓一体架构及其应用
fudaihb的博客
11-01 1706
随着5G、大数据、人工智能、物联网等技术的飞速发展，各行业的数据管理需求愈加复杂，尤其是随着非结构化数据的急剧增长，数据处理方式和技术手段发生了重大变革。面对数据的多样性和异质性，企业在数据管理方面不再仅依赖于传统的结构化数据处理。相较于传统的数据湖和数据仓库，湖仓一体架构（Lakehouse Architecture）在数据一致性、高并发处理能力和实时分析能力方面展现了独特优势，逐步成为企业下一代数据管理系统的核心竞争力。
湖仓一体电商项目（七）：业务需求和分层设计及流程图
Lansonli（蓝深李）的博客
08-06 949
在设计湖仓分层时，我们将维度数据存储在HBase中，将事实数据存储在Iceberg数仓分层中。针对此topic中数据我们需要通过Flink代码进行处理，Flink代码会将所有业务库中的数据保留一份完整数据到Iceberg ODS层中，针对维度数据会将数据进行过滤存储在Kafka 中，方便后续维度数据处理，另外为了使代码重启后消费数据位置信息得到保证，这里我们将所有事实数据也存储在Kafka中，后续各层也是按照此逻辑执行。...
数据湖仓一体化架构：探究新一代数据处理的可能性
架构师学习成长之路
06-13 1623
随着大数据的快速发展，企业不断寻求高效、灵活和经济的方法来处理和管理海量数据。在这种背景下，数据湖和数据仓库这两种不同的架构模式各自展现出其独特的优势。而数据湖仓一体化架构，是对这两种模式优势的综合，为企业提供了一个全新的数据管理方案。
构建地产电商新生态：互联网项目商业计划解析
1. 平台架构：介绍平台的技术架构、数据流设计以及安全策略，确保平台能够稳定运行，并保护用户数据安全。 2. 功能模块：详细阐述平台将包含的各个功能模块，例如在线房源展示、在线交易、虚拟现实看房、物业管理...
湖仓一体架构：数字化的终局之选！
大数据梦想家
11-25 1947
湖仓一体，未来的趋势
湖仓一体电商项目（二）：项目使用技术及版本和基础环境准备
Lansonli（蓝深李）的博客
07-25 1224
这里我们使用5台节点来安装各个大数据组件，每台节点给了3G内存，4个core，并且每台节点已经关闭防火墙、配置主机名、设置yum源、各个节点时间同步、各个节点两两免密、安装JDK操作。下篇一一进行基础技术组件搭建。...
湖仓一体电商项目（四）：项目数据种类与采集
Lansonli（蓝深李）的博客
07-30 1603
当用户浏览网站触发对应的接口时，日志采集接口根据配合的log4j将用户浏览信息写入对应的目录中，然后通过Flume监控对应的日志目录，将用户日志数据采集到Kafkatopic“KAFKA-USER-LOG-DATA”中。实时数仓项目中的数据分为两类，一类是业务系统产生的业务数据，这部分数据存储在MySQL数据库中，另一类是实时用户日志行为数据，这部分数据是用户登录系统产生的日志数据。启动代码后，我们会在Kafka“KAFKA-USER-LOG-DATA”topic中看到监控到的用户日志数据。...
湖仓一体数据平台架构
大数据技术杂谈
07-04 5541
什么是湖仓一体？湖仓一体平台架构方案
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
Lansonli（蓝深李）的博客
08-30 3041
以上两个方面中第一个方面需要再Hive中预先创建对应的Iceberg表，才能写入，第二个方面不好分辨topic“KAFKA-DB-BUSSINESS-DATA”中哪些binlog数据是事实数据哪些binlog是维度数据，所以这里我们在mysql 配置表“lakehousedb.dim_tbl_config_info”中写入表信息，这样通过Flink获取此表维度表信息进行广播与Kafka实时流进行关联将事实数据和维度数据进行区分。在Iceberg-ODS层中对应的表中也有数据。...
湖仓一体电商项目（十一）：编写写入DWS层业务代码
Lansonli（蓝深李）的博客
09-09 936
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关联时采用了Redis做缓存，这样可以加快处理数据的速度。
湖仓一体电商项目（十六）：业务实现之编写写入ODS层业务代码
Lansonli（蓝深李）的博客
09-19 1270
这里也可以不设置从头开始消费Kafka数据，而是直接启动实时向MySQL表中写入数据代码“RTMockDBData.java”代码，实时向MySQL对应的表中写入数据，这里需要启动maxwell监控数据，代码才能实时监控到写入MySQL的业务数据。以上代码执行后在，在对应的Kafka “KAFKA-DIM-TOPIC”和“KAFKA-ODS-TOPIC”中都有对应的数据。针对用户日志数据可以启动代码“RTMockUserLogData.java”，实时向日志采集接口写入数据。
湖仓一体电商项目（十九）：业务实现之编写写入DWS层业务代码
Lansonli（蓝深李）的博客
09-22 2344
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。以上代码执行后在，在对应的Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中都有对应的数据。在Iceberg-DWS层中对应的表中也有数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值