数仓设计

最新推荐文章于 2024-08-23 17:05:52 发布

QAQ_0v0

最新推荐文章于 2024-08-23 17:05:52 发布

阅读量519

点赞数 1

分类专栏： hadoop

本文链接：https://blog.csdn.net/QAQ_0v0/article/details/110005169

版权

数仓设计

需求
项目框架
数据生成模块
- 埋点数据基本格式

需求

实时采集埋点的用户行为数据
实现数据仓库分层搭建
每天定时导入业务数据
根据数据进行报表分析

项目框架

技术选型

数据采集传输：Flume,Kafka,Logstash,DataX,Sqoop
数据存储：Hive,Mysql,HDFS,HBase,S3
数据计算：Spark,Hive,Tez,Filnk,Storm
数据查询：Presto,Impala,Kylin

系统架构图设计

在这里插入图片描述

系统数据流程设计

在这里插入图片描述

框架版本选型

产品	版本
Hadoop	2.7.2
Flume	1.7.0
Kafka	0.11.0.2
Kafka Manager	1.3.3.22
Hive	1.2.1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

QAQ_0v0

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

数仓建模—埋点设计与管理

07-14

6万+

文章目录埋点设计与管理埋点的作用埋点数仓设计埋点的类型全埋点可视化埋点代码埋点埋点上报方式图片请求GET 请求POST 请求埋点管理设计事件的设计设计原则数据从生产到应用的流程埋点系统的设计表设计/展示设计数据解析在哪里做数据丢失如何处理总结埋点设计与管理埋点的作用开始之前我们先看一下我们为什么要收集埋点数据，埋点都可以做什么，埋点主要用于记录用户行为,几乎是应用必不可少的功能.埋点的作用包括但不限于分析用户转化以及存留例如下载的用户数量,注册的用户数量,一段时间之后的存留用户数量; 分析用户偏好

大数据-数仓设计

anhaoye的博客

05-04

881

数据仓库是由一整套体系构成，包含数据采集，数据存储，数据计算，数据展示等数据仓库主要作用对过往的历史数据进行分析处理，为公司决策停供数据支撑。主题是对数据进行归类，每个分类是一个主题主题域根据分析的领域，将联系较为紧密的数据主题的集合在一起主题域下面可以有多个主题，主题还可以划分成更多的子主题，主题和主题之间的建设可能会有交叉现象表命名分层_主题_实体+业务+维度_分区分层 ods，dw，dwd主题 sale（销售主题） user（用户主题）实体+业务+维度示例：mysql中的表名+计算维度。

1 条评论您还未登录，请先登录后发表或查看评论

大数据开发工作中的数仓设计（Hadoop，hive ，mysql ）

m0_62008384的博客

04-29

1717

数据仓库是由一整套体系构成，包含数据采集，数据存储，数据计算，数据展示等数据仓库主要作用对过往的历史数据进行分析处理，为公司决策停供数据支撑。表命名分层_主题_实体+业务+维度_分区分层 ods，dw，dwd主题 sale（销售主题） user（用户主题）实体+业务+维度示例：mysql中的表名+计算维度规范不是前置要求，不同公司可能根据业务设计表名字段类型规范数量类型整数为bigint金额类型为decimal(27, 2)，表示：27位有效数字，其中小数部分2位。

【大数据】数据仓库的定义、数据模型及其建设与设计

最新发布

一定要站在自己热爱的生活里闪闪发光

08-23

964

数据仓库是支持管理决策的集成化、主题化的数据集合，它通过ETL过程从事务型数据库中抽取、清洗和转换数据。其体系结构包括数据源、存储与管理、OLAP服务器和前端工具。数据模型分为概念、逻辑和物理模型，涉及高层、中间层和底层建模。设计过程包括概念模型、逻辑模型和物理模型设计，重点在于确定主题域、粒度、数据分割策略和关系模式定义，以及软硬件配置和数据抽取、转换、加载策略。

数据仓库的设计

iiiitttttt的博客

05-02

4648

数据仓库设计分层规划 ODS(原始数据层): 存放未经过处理的原始数据，结构上与源系统保持一致，是数据仓库的数据准备区 DWD(明细数据层)：基于维度建模理论进行构建，存放维度模型中的事实表，保存各业务过程最小粒度的操作记录 DWS(汇总数据层)：基于上层的指标需求，以分析的主题对象作为建模驱动，构建公共统计粒度的汇总表 ADS(数据应用层)：存放各项统计指标结果 DIM（公共维度层）：基于维度建模理论进行构建，存放维度模型中的维度表，保存一致性维度信息数据仓库构建流程数据调研 1）业务调研主

数据仓库建设之六脉神剑

weixin_34354945的博客

07-25

622

本文来自网易云社区。数据仓库作为企业提供决策支持而构建的集成化数据环境，本身并不产生或者消费数据，基本架构包含的是数据流入流出的过程，首先放上一张数据仓库的架构图。数据仓库作为中间集成化数据管理的一个平台，底层有多种数据来源，流入数据仓库之后对上层应用开放。 1、分析业务需求，确定数据仓库主题数据模型的创建依赖数据仓库主题的确定，在搭建数据仓库之前，首先就是要充分了解业务部门的问题需求，...

如何设计好数仓？数仓到底是什么？---详解

weixin_48143996的博客

12-17

3309

这一篇看完还不会数仓？我不信！

数据仓库系列文章一：浅谈数仓设计

u012100548的博客

03-27

5417

数仓设计指对数据仓库的各项组成进行规划，在正式建设数仓之前形成指导性建设方案。数仓设计主要分为两部分：数据仓库同操作型业务系统的数据接口设计和数仓自身建设设计。本文从多个方面探讨数仓的设计要点，给出需要注意的问题，提供部分实践建议。

数仓设计，概述其中细节知识点

04-29

数仓设计，概述其中细节知识点

数仓设计的几点原则

张普的专栏

03-15

1433

01 - 高内聚、低耦合高内聚、低耦合是软件设计的常见概念，特别是在软件模块划分中会被常常提起，需要将功能相同的内聚在一起，将职责不同的功能解耦，比喻说常见的MVC 分层模式，每一层负责...

大数据：数据仓库设计

Xiao Miao的博客

05-09

6156

数据仓库设计

6.数据仓库搭建之数据仓库设计

Mmj666的博客

07-02

3038

数据仓库搭建之数据仓库设计

数据仓库设计

qq_40233706的博客

01-13

266

数仓设计维度建模以维度为标准开展数据的分析需求适用于面向分析领域的理论。比如分析型数据库数据仓库数据集市（OLAP）事实表分析主题的客观事件度量是分析主题的数据聚集事实表中一条记录往往对应着客观的一个事件往往是一堆主键的聚集维度表所谓的维度就是指看待问题的角度可以通过不同的维度去分析同一个事实表得出不同的分...

数仓模型设计详细讲解

u011250186的博客

03-24

1041

版权前言今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。一、维度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能。 ...

数仓模型设计方法论

不才伟才的博客

02-28

1700

规范定义主要定义派生指标体系。包括原子指标、修饰词修饰词时间周期和派生指标。

数据仓库——设计

a1473227656的博客

03-09

1094

数据仓库需求只有在已经装载部分数据并开始使用时才能弄清楚数据仓库是在启发方式下建造的。

大数据数仓建模系统的设计

qq_25037905的博客

05-31

328

数据地图技术落地细节： 1、血缘关系，表的依赖关系技术实现：canal解析当前的SQL语句：insert overwrite table mydb.users select * fromA join B 就能找到它的上下游关系； 2、搜索技术实现:ES搜索 3、数据展示技术实现:echarts 4、表的创建技术实现：canal 从binlog解析创建表的SQL语句:create table users，canal解析出表名和字段； ...

写一个电商场景的数仓设计文档

03-31

1. 背景和业务需求随着电商行业的不断发展，用户购买商品的方式也在不断变化。为了更好地了解用户的需求，提高购物体验和销售额，我们需要建立一个数仓来收集、处理和分析各种数据。通过数仓，我们可以实现以下业务需求： 1.1. 了解用户购买行为，包括购买商品的种类、数量、价格、订单状态等信息。 1.2. 了解用户的浏览行为，包括浏览的商品、浏览时间、浏览时长等信息。 1.3. 了解用户的搜索行为，包括搜索的关键词、搜索时间、搜索结果等信息。 1.4. 了解商品的销售情况，包括销售量、销售额、销售渠道等信息。 1.5. 了解广告效果，包括广告点击量、广告费用、广告投放位置等信息。 2. 数仓设计 2.1. 维度模型为了满足上述业务需求，我们设计了以下维度模型： 2.1.1. 用户维度模型用户维度模型包含用户的基本信息，如用户ID、性别、年龄、地区等。此外，还包含用户购买、浏览、搜索等行为的指标信息。 2.1.2. 商品维度模型商品维度模型包含商品的基本信息，如商品ID、名称、品牌、价格等。此外，还包含商品销售、浏览、搜索等指标信息。 2.1.3. 时间维度模型时间维度模型包含时间的各种维度，如年、月、日、小时、分钟等。此外，还包含各种时间相关的指标信息，如销售额、订单量、浏览量等。 2.1.4. 广告维度模型广告维度模型包含广告的基本信息，如广告ID、广告名称、广告类型、广告费用等。此外，还包含广告效果相关的指标信息，如广告点击量、广告转化率等。 2.2. ETL流程为了将数据从业务系统中导入到数仓中，我们设计了以下ETL流程： 2.2.1. 数据抽取通过数据抽取工具，从各个业务系统中抽取需要的数据。这些数据可以是关系型数据库中的数据，也可以是日志文件中的数据。 2.2.2. 数据清洗对抽取的数据进行清洗，包括去重、填充缺失值、转换数据类型等操作。 2.2.3. 数据转换将清洗后的数据转换为数仓中的维度模型和事实表模型。 2.2.4. 数据加载将转换后的数据加载到数仓中，包括维度表和事实表。 2.3. 数据仓库架构为了支持上述ETL流程和查询分析，我们设计了以下数据仓库架构： 2.3.1. 数据源层数据源层包含各个业务系统中的数据源，包括关系型数据库、日志文件等。 2.3.2. 数据抽取层数据抽取层通过ETL工具从数据源层抽取需要的数据，并进行清洗和转换。 2.3.3. 数仓层数仓层包含维度模型和事实表模型，是数仓的核心部分。 2.3.4. 数据展示层数据展示层通过BI工具展示数仓中的数据，包括报表、图表等。 3. 总结通过上述数仓设计，我们可以实现对电商业务中各种数据的收集、处理和分析。这将有助于我们更好地了解用户需求和行为，提高购物体验和销售额。