数据仓库之ETL简析

最新推荐文章于 2024-05-20 15:22:59 发布
最新推荐文章于 2024-05-20 15:22:59 发布
阅读量515 收藏 3
点赞数
分类专栏： 大数据 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiucheng_198806/article/details/105506147
版权

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。
一般随着业务的发展扩张，产线也越来越多，产生的数据也越来越多，这些数据的收集方式、原始数据格式、数据量、存储要求、使用场景等方面有很大的差异。作为数据中心，既要保证数据的准确性，存储的安全性，后续的扩展性，以及数据分析的时效性，这是一个很大的挑战。

名词解释：

  • ODS——操作性数据
  • DW——数据仓库
  • DM——数据集市

image

image

​一、数据抽取

数据抽取是指把ODS源数据抽取到DW中，然后处理成展示给相关人员查看的数

最低0.47元/天 解锁文章
毛公鼎
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据、数据仓库和ETL
iteye_14888的博客
07-27 3530
一、背景      大量原来线下的业务电子化之后，产生了很多的数据，这些数据除了能够支撑业务正常运转，也能够使分析人员针对整个企业的运转情况进行分析。比如，本周与上周相比销量增加还是减少了？原因是什么？ 产品的库存周期长了还是短了？哪些产品需要及时补充库存？哪些供应商提供的商品，成本低、质量好、及时供货、客户比较喜欢？哪些地方的支出变多了？用户对我的产品满意吗？客户发生了哪些变化？需要招人吗？...
HIVE数仓ETL之MongoDB
qq_22820683的博客
09-10 3199
前状： 平台目前还没有完善的mongodb数据同步方式，在拉取公司埋点系统countly数据时，起初通过编写MapReduce读取mongodb数据转化成BSONObject写入到HDFS，在hive中创建映射表，使得BSON格式数据可以通过hive sql方式进行查询 通过这种方式存在弊端： 1.执行MapReduce耗时太长，这里一部分是网络原因，还有一部分是起了太多的map 任务，也就
六、数据仓库详细介绍（ETL）方法篇
菜菜程序员
05-23 1826
上文我们把数据仓库类比我们人类自身，数据仓库“吃”进去的是原材料（原始数据），经过 ETL 集成进入数据仓库，然后从 ODS 开始逐层流转最终供给到数据应用，整个数据流动过程中，在一些关键节点数据会被存储存储下来落入数仓模型。在数仓这个自运转的大生态系统中 ETL 扮演了原材料加工转化和能量传输两个重要角色，有了 ETL 的加持这个生态系统才开始活起来了。在数据仓库领域，ETL 的重要性有时候甚至比数仓模型还高，ETL 水平的高低通常能决定数仓的下限（决定上限的主要是数据应用和源端数据质量）。
【数据同步】数仓同步之道
Sunny的专栏
10-13 449
一、Sqoop Sqoop，SQL-to-Hadoop 即“SQL到Hadoop和Hadoop到SQL”。 是Apache开源的一款在Hadoop和关系数据库服务器之间传输数据的工具。主要用于在Hadoop与关系型数据库之间进行数据转移，可以将一个关系型数据库（MySQL ,Oracle等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。 sqoop命令的本质是转化为MapReduce程序。sqoop分为导入（import）和导出（export），策略分为tabl.
最全一篇文章搞懂数据仓库：常用ETL工具、方法(1)，2024年最新大数据开发面试题
2401_84181911的博客
05-12 734
是英文Extract-Transform-Load的缩写，用来描述将。
数据仓库与ETL的相关定义
婉约派程序员
12-29 2441
什么是数据仓库        传统数据库（DataBase，DB）是长期存储在计算机内的、有组织的、可共享的数据集合。数据仓库（Data Warehouse，DW）是一个面向主题的、集成的、相对稳定的（不可修改的）、反映历史变化的（随时间变化的），支持管理决策的数据集合。数据仓库是一种特殊的数据库。 面向主题的   &a
数据仓库ETL
04-20
数据仓库ETL（Extract, Transform, Load）是构建和维护数据仓库的核心过程，它涉及到从各种数据源中抽取数据（Extract），对数据进行清洗、转换（Transform），然后加载（Load）到数据仓库中，以便进行分析和决策...
传统数据仓库ETL设计报告
10-07
ETL升级一方面采用元数据驱动ETL的方式，通过配置元数据驱动ETL；另一方面，在ETL调度控制方面，采用结合数据质量校验的ETL调度
数据仓库和ETL
05-21
数据仓库和ETL数据仓库和ETL数据仓库和ETL数据仓库和ETL
商场数据仓库ETL系统架构设计.pdf
06-05
商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库ETL系统架构设计.pdf商场数据仓库...
ETL数据仓库技术面试题.doc
03-09
ETL（Extract, Transform, Load）是数据仓库技术的核心组件之一，负责将数据从源系统中提取、转换、加载到目标系统中。在面试中，考察者需要具备扎实的 ETL 知识和实践经验，本文将从标题、描述、标签和部分内容四个...
数据仓库与ETL的实现过程
03-24
NULL 博文链接：https://wangmengbk.iteye.com/blog/1021604
数据仓库ETL工具箱（中文版）.rar
07-20
第一部分 需求、现状和架构 第一章 一切从需求出发 第二章 ETL数据结构 第二部分 数据流 第三章 抽取 第四章 清洗和规范化 第五章 提交维度表 第六章 提交事实表 第七章 开发程序 第三部分 开发和运行维护 第八章 运行维护 第九章 元数据 第十章 职责与分工 第十二章 结论 第十一章 实时ETL系统 第四部分 实时流ETL系统
数据库清洗产品ETL工具
09-11
针对同一种数据库，使用通用的接口(如ODBC/JDBC)还是原厂商自己的专用接口，数据抽取效率会有很大差别，这直接关系到能不能在有限的时间内完成。(如oracle的jdbc连接方式:oci和thin的选择) ETL任务支持多种数据源: 支持多种数据库Oracle,DB2,SQLServer, MySQL,SqlServer,Informix等。能 支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。 支持文本数据，支持将Excel，txt文件，csv，XML文件等文件型的数据直接作为数据源;
扫盲系列（4）：数据仓库ETL流程和ETL工具推荐
oOBubbleX的博客
06-04 1828
介绍了数据仓库ETL流程，并根据数据源不同，推荐了数据仓库ETL工具。
什么是数据仓库，解释数据仓库的结构和ETL过程
fengyege的博客
09-15 219
数据仓库是一种用于存储和管理数据的系统，它提供了一种统一的方式，将不同来源、不同格式和不同时间的数据集成在一起。主题域（Domain）：每个主题域都是一个特定领域的数据集，例如市场营销、销售、客户、库存等。维度（Dimension）：维度定义了数据的不同角度，例如时间、地点、产品、人员等。维度是按照多维模型进行组织的，可以用来创建多维数据报表。事实表（Fact Table）：事实表存储了实际的数据，例如销售额、库存量、客户数量等。事实表中的列是度量值，例如销售额的金额和数量。
数据仓库——ETL(详细教程)
weixin_74027659的博客
05-20 846
建模模型：维度模型——生成维度表，事实表事实表为什么叫事实表？——表里有需要被统计的列。
一篇文章搞懂数据仓库：常用ETL工具、方法
2401_83817769的博客
04-13 1123
是英文Extract-Transform-Load的缩写，用来描述将。
影碟租赁数据仓库ETL
最新发布
06-13
影碟租赁数据仓库（DVD Rental Data Warehouse）的ETL（Extract, Transform, Load）过程是一个关键的数据管理技术，用于从不同源系统中抽取（Extract）数据，转换（Transform）这些数据使其适合存储在仓库中，并将它们加载（Load）到预定义的数据结构中。以下是ETL在影碟租赁业务中的关键步骤： 1. 数据提取（Extract）: 这涉及到从原始的租赁系统、库存管理系统、顾客信息系统等收集数据，可能包括租赁记录、电影信息、租期、顾客行为数据等。 2. 数据转换（Transform）: ETL过程中，数据可能会被清洗，例如去除重复项、填充缺失值、格式标准化等。此外，可能还需要进行一些分析性转换，如计算平均租赁时间、热门租赁排行等，以便更好地理解和分析业务趋势。 3. 数据加载（Load）: 转换后的数据被整合到数据仓库中，通常使用的是维度模型或星型模式。这些数据通常会被存储在关系数据库中，以便进行高效的查询和报表生成。 4. 数据仓库管理：维护数据的完整性、一致性，以及定期执行数据刷新或更新，确保仓库中的数据反映最新的业务状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值