数据仓库的简单介绍

最新推荐文章于 2024-09-28 20:01:36 发布
最新推荐文章于 2024-09-28 20:01:36 发布
阅读量278 收藏
点赞数
分类专栏： Hadoop 大数据 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44704605/article/details/111499653
版权

前置需求的技术

  • Hadoop
  • Hive
  • Hue
  • Sqoop
  • Oozie

项目简介

项目叫做：知行教育大数据分析平台（数仓开发项目）

目的：对海量的业务数据进行指标分析。

结果：对分析的结果做可视化的展示

项目的痛点

  • 数据量比较大，传统的业务数据库比如MySQL难以支撑，我们需要：分布式的、支持SQL的一种数据库（Hive）
  • 数据分散，需要将数据集中存储
  • 数据设计是针对业务设计的，分析比较困难，我们需要将它转换为分析比较好用的格式

项目的数据流转

image-20201221084326863

在线教育的业务

名词解释

  • 意向用户：对公司的业务抱有兴趣的潜在用户
  • 有效线索：能够有效联系到用户的线索，比如手机号、邮箱、微信等等

项目分析的五个大方向（主题）

  • 访问和咨询主题
  • 报名用户主题
  • 有效线索主题
  • 意向用户主题
  • 学生出勤出题

目的：通过这5个主题，来分析具体主题内的详细需求

在线教育的主体流程

  1. 访问网站

    访问数据

  2. 咨询客服

    咨询数据

  3. 询问意向

    意向数据

  4. 留下线索

    线索数据

  5. 报名

    学生信息等数据

  6. 学习

    学习记录数据

补充：数据分析的价值

数据分析的价值非常高，因为数据能指导公司的运营。

但是：数据不是万能的。

关机

建议使用命令关机：shutdown -h now

或者init 0

数据仓库理论

学习目标

理解OLTP和OLAP的区别

理解数据仓库的特点

理解数据仓库系统架构

理解指标与维度

理解下钻与上卷

理解事实表与维度表

理解星型模型和雪花模型

理解缓慢渐变维

掌握数据仓库的分层方法

数据仓库介绍

数据分析的问题

  1. 做分析的时候，很多业务数据都会分散的存储到很多业务后台中。数据孤岛
  2. 数据量巨大，需要一种能够存储海量数据，同时也能分析海量数据的工具
  3. 工具还需要能够支持常用的SQL

解决问题

  1. 做数据的集中存储
  2. 分布式存储+分布式计算

满足条件的组件

  • Hive

    存储基于分布式的HDFS

    计算基于分布式的MapReduce

  • Impala

    分布式存储 + 分布式计算

  • HAWQ

  • Spark、Flink（分布式计算框架）搭配HDFS（分布式存储）

数仓的简单概念

定位为集中存储可以支持海量数据分析和计算的一种技术，可也以称之为数据分析专用的系统。

数仓的特点

  • 集中存储
  • 海量数据分析计算
  • 支持SQL语言
  • 专用数据分析

数仓的标准概念

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、数据集成的（Integrated）、相对稳定(非易失)的（Non-Volatile）、反映历史变化(时变)（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

  • 面向主题（Subject Oriented）

    数仓定位是分析专用的系统，待分析的数据，一般会根据你要分析的主题进行表结构设计存储

  • 数据集成（Integrated）

    分散的业务数据（数据孤岛）完成集中化存储

    一般企业中，数据仓库只会设计一套。因为目的是集中化存储业务数据待分析

  • 相对稳定（非易失）

    数据仓库的内容，一般是只进不出。很少会执行DELTE和UPDATE，一般都是INSERT和SELECT

    对比起来业务系统一般记录的是事件的状态（最新）

    数仓系统一般记录的是事件全生命周期走过的所有状态的记录

  • 反映历史变化（时变）

    数仓记录的是事件的全生命周期的状态更迭。所以历史状态等信息均能得到体现。

总结一下

大白话数仓就是：企业想做数据分析，但是有数据孤岛问题以及数据量太大，所以做出一个系统解决了集中存储的问题以及解决了海量数据计算的问题，同时还能支持SQL最好。那么这个我们叫做数据仓库。

OLTP 和 OLAP 的区别

  • OLTP：Online Transaction Processing：在线（联机）事务处理
  • OLAP：Online Analysis Processing：在线分析处理

OLTP

大白话：OLTP系统主要为了业务能够顺畅、稳定的运行

即联机事务处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一，比如ERP系统，CRM系统，互联网电商系统等，这类系统的特点是事务操作频繁，数据量小。

OLAP

大白话：OLAP系统主要为了数据能够高效的分析处理

即联机分析处理，有时也称为决策支持系统（DSS），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。这类系统的特点是没有事务性操作，主要是查询操作，数据量大。

大数据基本上都是OLAP的模式

image-20201221112812066

数仓的常见基础架构模式

image-20201221113417913

ETL

  • E：Extract、抽取
  • T：Transformation、转换
  • L：Load、加载

简单理解ETL就是：

  • 输入（E）
  • 处理（T）
  • 输出（L）

大白话：ETL就是从A点抽取数据，进行处理后，写入到B点

Sqoop就是一个典型的ETL工具，专为Hadoop设计

数据集合

image-20201221114601448

如图，首先，数仓是数据的集中存储。

但是公司是有不同的部门（业务线），它们关心的东西不一样。

各个部门（业务线）是只关系数仓数据中的某一个数据子集

数仓可以划分出很多的数据子集，这种模式称之为：数据集市

数据集市不是必须的，看具体需要

黑暗森林`
关注
专栏目录
C++ 中的向量用法详解
m0_47037246的博客
09-21 633
向量（Vector）是 C++ 标准库中一个重要的容器，用于存储一系列元素。本文将详细介绍 C++ 中向量的用法，并提供相应的源代码示例。至此，我们已经介绍了 C++ 中向量的基本用法。向量是一个非常灵活和强大的容器，可以根据需要动态调整大小，并提供了丰富的操作函数。通过合理地利用向量，可以简化代码的编写并提高程序的效率。还可以使用迭代器来访问向量的元素。迭代器是一种指向容器元素的对象，类似于指针。要声明一个向量，需要指定元素的类型。来访问向量中的元素。头文件，以便能够使用向量的相关功能。
Vue 实现列表动态添加和删除的两种方法小结
12-29
下面将介绍两种方式实现动态添加和删除列表 1.不使用组件 <!DOCTYPE html> <html> <head> <meta charset=utf-8> <title>Vue 测试实例 - vue实现列表增加和删除</title> [removed][removed] </head> <body> <input v-model=newAddText placeholder=请输入要添加的内容 /> <button @click='addNew
第二周周报
HaiRG的博客
10-06 737
第二周周报 数据分析 在建立模型，对数据进行训练分析之前，需要对数据的整体，有一个大概的了解，了解数据的种类，范围，缺失情况等信息，我在上一周对数据的总体情况进行了分析，以下是其中的一部分。 数据大小 数据总览 数据缺失 实战结果 在翻阅资料的过程中，我看到一个思路，就是利用数据中的贷款等级进行预测，这个思路比较的简洁明了，因此上一周我的实践就是根据这一方面进行的。 首先，我们假定，原数据所给的信用评级，一定是有其道理的，因此，我们可以利用这个评级，通过对训练集中每个评级的违约率进行统计，即可以作
一文通关数据仓库
最新发布
m0_59235945的博客
09-28 1082
自上而下建立数据仓库（DW-DM）又称为范式建模，之所以称为范式建模，是因为这种方式构建的数据仓库，信息存储是符合第三范式。为什么需要存储信息满足第三范式？因为所有的表都是先抽取到数仓里面，在进行维度建模。如果数据不满足第三范式的话，数据维度建模数据处理差，处理成本太大。
vue之实现列表的渲染，增加，删除和查询
low666的博客
03-05 8941
vue之实现列表的渲染，增加，删除和查询 1.列表的渲染 首先创建 Vue 实例，得到 ViewModel，然后在列表中渲染数据 <tbody> <tr v-for="item in list" :key="item.id"> <td>{{ item.id }}</td> <td v-t...
C++ 向量(vector) 的使用
小牧在一直在学习,在前进的道路上大家一起学习，进步。
08-11 2566
向量(vector)是什么 向量(vector)是属于STL(Standard Template Library, 标准模板库)中的一种随机访问数组的类型. 使用的时候需要使用#include<vector> 引入,否则会报错, 向量的初始化 #include <iostream> #include <string> using namespace std; #include <vector> int main() { // 创建一个空的.
数据仓库简单介绍PPT教案.pptx
10-05
数据仓库是一种专门设计用于数据分析和报告的大型数据库系统。它收集来自多个源的大量历史数据，并对其进行优化，以便快速查询和分析。数据仓库通常与业务智能（BI）系统结合使用，为企业决策提供支持。 在SQL ...
MS数据仓库架构.pdf
06-04
数据仓库的核心目标是提供一个结构化的环境，使得复杂的数据聚合和查询变得简单，而不影响日常运营系统的性能。传统的事务处理系统并不适合复杂的分析查询，因为它们专注于快速处理单个事务，而非支持大数据量的汇总...
Hive-数据仓库实战
12-22
在大数据处理领域，Hive 是一个非常关键的数据仓库工具，尤其在数据挖掘、数据分析和统计中扮演着核心角色。在电信行业中，Hive 被广泛用于处理和分析用户的各种信息，如流量、话费、套餐消费等，帮助运营商洞察用户...
数据仓库介绍
06-11
在本教程中，我们将介绍如何使用SQL Server 2005的Business Intelligence Development Studio (BIDS) 创建一个简单的数据仓库。 首先，启动BIDS，通过“开始”菜单找到“SQL Server 2005”下的“SQL Server ...
数据仓库与数据挖掘个人复习
12-17
在本文中，我们将对数据仓库和数据挖掘进行详细的介绍和分析。 数据挖掘是从大量数据中挖掘重要、隐含的、以前未知、潜在有用的模式或知识。数据挖掘的过程可以分为多个阶段，包括数据清理、数据集成、数据选择、...
Vue 数组添加元素的三种方式
走在搬砖的路上！
07-20 1万+
1、push() 结尾添加 　　数组.push(元素) 参数 描述 newelement1 必需。要添加到数组的第一个元素。 newelement2 可选。要添加到数组的第二个元素。 newelementX 可选。可添加多个元素。 2、unshift() 头部添加 　　数组.unshift(元素) 参数 描述 newelement1 必需。向数组添加的第一个元素。 newelement2 可选。向数组添加的第二个元素。 newel
C++ 向量(vector)
lisayh的博客
02-15 8317
1.向量vector简介 向量 vector 是一种对象实体, 能够容纳许多其他类型相同的元素, 因此又被称为容器。 与string相同, vector 同属于STL(Standard Template Library, 标准模板库)中的一种自定义的数据类型, 可以广义上认为是数组的增强版。      在使用它时, 需要包含头文件 vector, #include&lt;vector&gt;  ...
C++中的向量（Vector）：详解与应用
CyberSphinx的博客
08-23 1447
C++的标准库提供了许多容器，其中向量（Vector）是一种非常常用的容器。本文将详细介绍向量的概念、特点、基本操作以及实际应用案例，并提供相应的源代码。本文详细介绍了C++中向量的概念、特点、基本操作以及实际应用案例，并提供相应的源代码。向量作为一个非常常用的容器，在实际编程中具有广泛的应用价值。向量是指一种可变长度的数组，它提供了在数组末尾添加元素或删除元素的方便方法。其中，T表示向量中存储元素的类型，Alloc表示所使用的分配器，默认为std::allocator。三、向量的实际应用案例。
C++ 向量（vector）
february_的博客
12-06 1万+
1. vector介绍 向量 vector 是一种对象实体, 能够容纳许多其他类型相同的元素, 因此又被称为容器。 与string相同, vector 同属于STL(Standard Template Library, 标准模板库)中的一种自定义的数据类型, 可以广义上认为是数组的增强版 ,与数组相比，vector就是一个可以不用再初始化就必须制定大小的边长数组，当然了，它还有许多高级功能。 ...
【C++】数据结构——向量
JesseGrowing的博客
03-03 3710
Vector类模板
vue笔记，vant实现list的动态添加和删除
weixin_37191074的博客
11-10 2730
vue笔记，vant实现list的动态添加和删除，van-list(列表展示),van-number-keyboard数字键盘(工时的选择，做了数据绑定) van-calendar（日期选择）
C++ vector用法的详细学习
热门推荐
Gary_ghw的博客
01-07 1万+
从实用性考虑整理了vector的成员函数 并介绍了什么是vector 向量（Vector）是一个封装了动态大小数组的顺序容器（Sequence Container） 跟任意其它类型容器一样，它能够存放各种类型的对象 可以简单的认为，向量是一个能够存放任意类型的动态数组
C++/C分别使用new创建动态二维数组，用vector创建二维数组，初始化并打印（行和列可以根据输入调整，包含简单例子）
IT猿手
12-01 811
new方法创建动态二维数组，vector创建动态二维数组 #include<iostream> #include<vector> using namespace std; void main() { int n ; int m ; printf("input:\n"); scanf_s("%d,%d", &n,&m);//输入行和列 printf("使用new创建动态数组：\n"); int** p = new int* [n];//首先创建n行的数组
Sybase数据仓库解决方案解析
本文作者为Sybase软件(北京)有限公司的市场部副总监夏红，重点介绍了Sybase的数据仓库解决方案，并概述了构建数据仓库的四个步骤。" 数据仓库是一个专门设计用于决策支持的系统，它从企业的各种应用系统中提取信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值