0502-项目需求和项目架构

最新推荐文章于 2024-02-28 17:56:23 发布
最新推荐文章于 2024-02-28 17:56:23 发布
阅读量143 收藏
点赞数
分类专栏： 05 项目实战：离线数据分析数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35199832/article/details/103473521
版权

0502-项目需求和项目架构

第一章 项目需求

  1. 实时采集埋点的用户行为数据
  2. 实现数据仓库的分层搭建
  3. 每天定时导入业务数据
  4. 根据数据仓库中的数据进行报表分析

数据来源:

  1. 用户行为数据
  2. 业务数据

搭建数仓
分析数据

第二章 项目架构

2.1 技术选型

阶段框架
数据采集传输Flume, Kafka, Logstash, DataX, Sqoop
数据存储Hive, MySql, HBase, S3
数据计算Spark, Hive, Tez, Flink, Stom
数据查询Presto, Impala, Kylin

2.2 系统架构图设计

在这里插入图片描述

2.3 系统数据流程设计

在这里插入图片描述

2.4 框架版本选型

2.5 集群资源规划设计

在这里插入图片描述

YanLzh_MAlone
关注
专栏目录
数据仓库概述
weixin_41812379的博客
10-20 1110
数据仓库概述 数据仓库（Data Warehouse），简称DW或DWH，是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理、运营决策。 面对主题的：数据仓库里的数据面向主题作为大分类，例如用户分析主题、流量分析主题等等。这种主题往往也是我们处理数据的目的。 集成的：数据仓库的数据不只是通常数据库表里写下的业务数据，也记录下了用户行为相关的埋点数据等，例如用户访问的日志
2021-10-27需求分析与系统架构
weixin_42308553的博客
10-28 1574
前言 T31孤尽课程第一天 提示：以下是本篇文章正文内容，下面笔记可供参考 一、T31项目简介 项目介绍 T31项目是类似于12306的售票网站 1、从查票、下单、付钱、通知的主流程 2、抽象商品、订单、支付的核心模型 3、处理票务异常和日志 4、了解架构设计背后的方法论 二、需求分析 理解和挖掘用户的诉求、以及背后的逻辑，转化成可行性的分析结果。从非结构化到结构化，确定系统的职责、模块的规程。 边界： 哪些数据已经有了，哪些模块已经有了。 用户故事： 模拟用户想要做什么，比如候补车票。 用户路径： 我们和
大数据离线阶段Day5之数据仓库
qq_39581763的博客
09-11 1045
1． 数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。 ...
数据仓库入门
二黑的博客
04-02 264
数据仓库是存数据的，企业的各种数据往里面塞，主要目的是为了有效分析数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表，为企业的决策提供支持。 文章结构 一、数据仓库是什么 二、数据仓库有什么特点 三、为什么搭建数据仓库 四、数据仓库结构 五、ETL 六、数据集市 七、ODS 八、元数据 一、数据仓库是什么 可以理解为：面向分析的存储系...
数仓基本概述
m0_61059815的博客
07-03 298
数据仓库（data warehouse ，DW）数仓是面向主题的集成的非易失的且随时间变化的数据集合。主要用于组织积累的历史数据，并使用分析方法（OLAP，数据分析） 进行分析整理，进而辅助决策，为管理者，企业提供数据支持，构建商业智能。1 面向主题： 根据主题将原始数据集合在一起。2 集成 原始数据源不用，需要经过ETL转化（清洗， 统一标准 ）3 非易失 ： 不允许被修改，只允许查询、分析 4 时变性：数仓会定期接受。集成新的数据， 从而反映数据的最新变化。数据库面向事物设计，属于OLTP系统，主要操
数仓中指标-标签，维度-度量，自然键-代理键等各名词深度解析
yuan_more的博客
09-09 2543
作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。 本文首发于公众号【五分钟学大数据】 本文结构如下图所示： 一、数仓中常见概念解析 1. 实体 实体是指依附的主体，就是我们分析的一个对象，比如我们分析商品的销售情况，如华为手机近半年的销售量是多少，那华为手机就是一个实体；我们分析用户的活跃度，用户就是一个实体。当然实体也可以现实中不存在的，比如虚拟
期中架构项目需求分析.pdf
03-19
期中架构项目需求分析.pdf
大数据之项目需求及架构设计
xingchensuiyue的博客
12-09 3192
大数据集群搭建相关注意事项
CMS-项目的技术架构
逍遥云恋
01-06 9809
2 项目的技术架构 2.1 技术架构 学成在线采用当前流行的前后端分离架构开发，由用户层、UI层、微服务层、数据层等部分组成，为PC、App、 H5等客户端用户提供服务。下图是系统的技术架构图： 业务流程举例： 用户可以通过pc、手机等客户端访问系统进行在线学习。 系统应用CDN技术，对一些图片、CSS、视频等资源从CDN调度访问。 所有的请求全部经过负载均衡器。 对于PC、H5等客户端请求，...
软件综合项目组织架构开发作业流程及文档新版培训教材.docx
12-15
- 开发人员：具备编程技能和经验，根据项目需求完成不同层次和模块的编程工作。 - 业务需求人员：理解业务流程，与业务部门紧密合作，确保系统满足业务需求。 - 文档整理人员：负责整理技术文档，需了解软件开发...
数据仓库概念、设计和介绍
08-24
数据仓库概念、设计和介绍 数据仓库概念、设计和介绍
数据仓库基础（通俗易懂，好文）数仓概念
热门推荐
Remix_xy的博客
07-10 4万+
作为程序员要必须知道的数仓知识，建议看看，通俗易懂，简单明了。 什么是维度表，事实表，数仓模型？
【数仓】基本概念、知识普及、核心技术
最新发布
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
02-28 2805
数仓的定义：数仓的特点：数仓与数据库的区别：数仓的架构：数仓的应用：数仓的发展趋势：数据建模：数据抽取、转换和加载（ETL）：数据质量管理：数据安全与隐私：元数据管理：数据仓库的性能优化：数据仓库与数据湖：实时数据仓库：数据仓库的维护和升级：数仓，即数据仓库（Data Warehouse），是一个大型、集中式的存储和处理数据的系统，通常用于支持企业或组织的决策分析处理。数仓的主要目标是提供决策支持，它整合来自不同业务系统的数据，并进行清洗、转换和加载，以提供一致、准确、及时的数据视图。
数据仓库概念
m0_55674689的博客
03-24 2870
数仓概念 1.数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 2.数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support） 数仓专注分析 1.数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 2.同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用； 3.这也是为什么叫“仓库”，而不叫“工厂”的原因...
数据仓储设计的基本概念
涛博
02-12 4464
一、维度建模基本概念 维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数 据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 维度表 维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析。 事实表 表示对分析主题的度量。事实表包含了与各维度表相关联的外键...
数据仓库介绍
u010959946的专栏
06-20 585
你好，我是七月，本专栏主要讲述我在职业生涯中应用的关于数仓相关的知识体系，初期主要以离线数仓为主。编写该专栏一共有两个目的，其一是梳理自己多年工作积累的知识，做到温故而知新；其二是分享数仓相关的基础知识给大家，抛砖引玉。随着IT行业的发展，数据分析、大数据、数仓、数据中台等概念不仅仅局限在互联网行业，传统中小型企业也需要支撑复杂的分析需求，得益于发展良好的开源项目，构建一个数仓不需要支付任何软件费用（当然商业软件更成熟、集成度高），只需要提供机器和专业人员即可构建。本专栏将为大家讲述一个基础的数仓如何搭建，
大数据篇--数仓概念总结
小强签名设计 的博客
06-24 4804
文章目录一、数据仓库1.什么是数据仓库：2.技术发展历程：3.数据仓库特点：4.OLAP和OLTP的区别： 参考：数仓基础概念 一、数据仓库 1.什么是数据仓库：   数据仓库，英文名称为Data Warehouse，关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriente
数仓的含义
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
04-27 8690
目录 1. 什么是数仓？ 2．数据仓库和数据集市的概念 3．数据仓库和数据集市之间的区别 1. 什么是数仓？ 数仓 可以理解 为 ：数据仓库 或者 数据集市 那么 “数据仓库”的概念可以追溯到80 年代中期。从本质上讲，最初数据仓库是想为操作型系统到决策支持环境的数据流提供一种体系结构模型，并尝试解决和这些数据流相关的各种问题。 在缺乏“数据仓库”体...
工业级物联网项目架构设计与实施探讨
工业级物联网项目架构设计的关键点： 1. **系统稳定性**：工业级物联网项目首要考虑的是系统的稳定性，确保系统能在各种环境下长期稳定运行。这涉及到选择可靠的硬件设备、稳定的通信协议以及具备故障恢复能力的设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值