【Flink实时数仓】数据仓库项目实战 《一》 准备工作

已于 2022-12-02 14:07:22 修改
阅读量1.9k 收藏 17
点赞数 2
分类专栏： 【Flink实时数仓】数据仓库项目实战 文章标签： flink 数据仓库 hbase
于 2022-11-27 14:58:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47139992/article/details/128064243
版权
本文介绍了使用Flink构建实时数据仓库的实战项目，包括配置选择、数据采集工具（如Flume、Kafka、MySQL、Maxwell）和实时数仓工具（Flink、HBase、Kafka、ClickHouse）。详细讲解了实时数仓的分层结构，如ODS、DIM、DWD、DWS和ADS，并探讨了服务器和虚拟机的配置需求。
摘要由CSDN通过智能技术生成

文章目录

【Flink实时数仓】 实时数据仓库项目实战

项目参考：
https://www.bilibili.com/video/BV1TG411a7nL/?spm_id_from=333.999.0.0&vd_source=fadf978240b1a472cdb682395c8ca5da

配置选择

服务器准备：需要分别安装hadoop102、hadoop103、hadoop104三台主机。
这里我们选择搭建虚拟机来模拟三台主机集群。
物理机配置： 选择了CPU D-1581（16核32线程） + 64 G 内存 的组合。
在这里插入图片描述

虚拟机：暂定每台虚拟机 8个处理器 ，16G内存，30G硬盘空间。（之后不够再加）
在这里插入图片描述

数据采集工具选择

模拟数据采集模块：
-------------------------1.用户行为数据采集模块
-------------------------2.业务数据采集模块

用户行为数据采集模块 （Flume、Kafka）

最低0.47元/天 解锁文章
一阵暖风
关注
专栏目录
大数据FLINK实时数仓项目实战
悦分享
10-06 7042
普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 原始数据，日志和业务数据 。根据数据对象为单位进行分流，比如订单、页面访问等等。维度数据。对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。根据某个主题将
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
m0_47139992的博客
12-18 1774
【Flink实时数仓】数据仓库项目实战 《四》日志数据分流 【DWD】
Flink1.8实时数仓项目实战
06-15
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。
实战Flink+Doris实时数仓教程
03-04
一、什么是实时数仓 实时数据仓库（Real-time Data Warehouse）是指能够实时地处理和分析数据，使得数据仓库中的数据是最新的、最准确的，并且可以实时响应用户的查询和分析需求的一种数据仓库系统。 与传统的数据仓库相比，实时数据仓库更加注重数据的实时性和对业务的实时响应能力。传统数据仓库通常是每日、每周或每月定期进行数据的抽取、转换和加载（ETL），更新的速度较慢，一般不支持实时查询和分析。而实时数据仓库则更加注重数据的实时性和对业务的实时响应能力，能够在数据发生变化时及时响应用户的查询和分析需求。 二、安装Flink 步骤 1：下载 # 为了运行Flink，只需提前安装好 Java 11。你可以通过以下命令来检查 Java 是否已经安装正确。 java -version 下载 release 1.20-SNAPSHOT 并解压。 $ tar -xzf flink-1.20-SNAPSHOT-bin-scala_2.12.tgz $ cd flink-1.20-SNAPSHOT-bin-scala_2.12 步骤 2：启动集群 # Flink 附带了一个 bash
大数据-数据仓库（原理+实战）
最新发布
weixin_43952924的博客
07-24 1038
数据仓库原理+项目实战
大数据开发实战：数据仓库技术
weixin_33737134的博客
08-07 231
　　1、OLTP和OLAP 　　　　　　OLTP的全称是 Online Transaction Processing, OLTP主要用传统的关系型数据库来进行事务处理。OLTP最核心的需求是单条记录的高效快速处理，索引技术、 　　　　分库分表等最根本的诉求就是解决此问题。 　　　　　　OLAP的全称是 Online Analytical Processing，OLAP能够处理和统计大量的数据...
【实时数仓篇】（01）美团 Flink 实时数仓应用_实时数仓建模 美团(2)
pasehelpme的博客
04-27 357
本文是学习Flink社区在B站的实时数仓篇第一节课程的总结，1. Flink 实时数仓的应用讲师：黄伟伦（美团点评 数据系统研发工程师）。
学习笔记（1):Flink1.8实时数仓项目实战-项目需求
tcsdn2000的博客
10-26 329
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。 ...
基于Flink构建实时数仓实践
weixin_45727359的博客
01-06 965
导读随着公司用户增长业务快速发展，陆续孵化出 部落、同镇、C 端会员、游戏等非常多的业务板块。与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数...
Flink-Flink新闻数仓实时项目(新闻指标计算、Flink知识的练手小项目)
m0_46507516的博客
04-01 1006
Flink新闻数仓实时项目java版本
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
m0_47139992的博客
11-27 1467
【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4192
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
美团点评基于 Flink 的实时数仓建设实践
u011250186的博客
08-27 531
引言 近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》，对 Flink 和 Storm 俩个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经...
Flink实时数仓同步：实时表实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
03-07 1977
Flink实时数仓同步：实时表实战详解
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
03-11 2885
Flink实时数仓同步：实时表、流水表、快照表整合实战详解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值