数据仓库——ETL(详细教程)

已于 2024-05-20 15:24:33 修改
阅读量683 收藏 5
点赞数 13
文章标签： 数据库
于 2024-05-20 15:22:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74027659/article/details/139052638
版权

目录

建模方式

ETL

新建etl项目，设置项目名称位置

新建数据源

新建SSLS包

做全量

双击编辑执行SQL任务

 双击编辑数据流任务

编辑OLE DB源

编辑数据流转换

编辑OLE DB源目标

右键选择执行

做增量 

编辑执行SQL任务

编辑任务条件

编辑数据流任务1

编辑数据流任务2

执行任务

数据类型不同不能转换的问题

建模模型：维度模型——生成维度表，事实表
事实表为什么叫事实表？——表里有需要被统计的列


建模方式

使用PowerDesigner建立数据模型导出sql文件


1》星模型。事实表关联相关维度表（开发时最多使用）
2》雪花模型。区别 维度表还关联了另一维度表（多张表关联【查询速度慢：通常做降维 >>维度合并 >> 变成星型模型   合并后有重复数据不再符合三段式】）
3》星座模型。多个事实表共同关联维

ETL

将源数据etl到数据仓库里

 新建etl项目，设置项目名称位置

 新建数据源

本地服务器名:  . 

 新建SSLS包

做全量

当前数据量比较小，当数据量大时做增量

做全量的步骤，先清空再将数据移动过来


双击编辑执行SQL任务

执行第一步，先将表中的内容删除

 双击编辑数据流任务

 创建传输流程

编辑OLE DB源

编辑数据流转换

 编辑OLE DB源目标

 

 右键选择执行

变绿执行成功

下面是对事实表做增量

做增量 

创建增量序列容器

 编辑执行SQL任务

编辑任务条件

 选中左边线路

 选中右边线路

 编辑数据流任务1

假设是15号开始建立数据仓库

第一步是将14号及之前的所有数据做全量

同样在数据源中选择出符合数据仓库列的内容

 其余步骤与做全量一样

 编辑数据流任务2

保存过14号之前的数据这里从第15号开始

这里改为=

 后面过程相同

执行任务

第一次执行会执行左边，这是第二次执行会执行右边

数据类型不同不能转换的问题

sql server中更改列表类型默认不能更改需要到工具—选项—设计器中取消掉阻止更改，确定并刷新

红红火火恍恍惚惚240
关注
  • 13
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
数据的搬运工——ETL
杏仁技术站
08-12 1451
作者 | 李谦恒数据工程师。逻辑重于代码，高效胜过勤奋。崇尚life work balance。ETL 开发是数据工程师必备的技能之一，在数据仓库、BI 等场景中起到重要的作用。但很多从...
数据仓库及ETL的理论基础
rubyw的博客
11-21 71
它是一个集成的、主题导向的、时间变化的、非易失性的数据集合，用于支持企业的决策制定过程。在实际应用中，ETL 过程通常是周期性执行的，以保持数据仓库中的数据与源系统中的数据同步。：在抽取的数据基础上进行清洗、转换和整合，以确保数据的一致性和质量。转换的目标是将数据转化为适合存储在数据仓库中的格式，并确保数据的准确性。数据仓库通常包含来自多个源系统的数据，这些数据经过清洗、转换和加载（ETL）的过程，然后存储在数据仓库中。加载的过程需要考虑数据的完整性和一致性，确保数据仓库中的数据是可信赖的。
六、数据仓库详细介绍（ETL）经验篇
菜菜程序员
05-24 2938
日常工作中大多数时候都是在做数据开发，ETL 无处不在。虽然最近两年主要做的大数据开发，但感觉日常干的这些还是 ETL 那点事儿，区别只是技术组件全换了、数据量大了很多。前几年数仓势微，是因为传统的那些工具数据库等无法解决数据量进一步膨胀带来的计算问题，大数据火爆也是因为当时大数据开发门槛很高。可是最近两年随着大数据技术的成熟开发门槛越来越低了，数据仓库反而重新火起来了。ETL 的事情就跟 SQL 一样入门很简单，但真要熟练运用也没那么容易，因为这两类技能仅靠理论学习很难掌握，必须不断的实践堆积才行。
六、数据仓库详细介绍（ETL）方法篇
菜菜程序员
05-23 1800
上文我们把数据仓库类比我们人类自身，数据仓库“吃”进去的是原材料（原始数据），经过 ETL 集成进入数据仓库，然后从 ODS 开始逐层流转最终供给到数据应用，整个数据流动过程中，在一些关键节点数据会被存储存储下来落入数仓模型。在数仓这个自运转的大生态系统中 ETL 扮演了原材料加工转化和能量传输两个重要角色，有了 ETL 的加持这个生态系统才开始活起来了。在数据仓库领域，ETL 的重要性有时候甚至比数仓模型还高，ETL 水平的高低通常能决定数仓的下限（决定上限的主要是数据应用和源端数据质量）。
使用ETL读取文件数据并快速写入mysql中
最新发布
RestCloud微服务治理及快速开发平台
05-22 440
选择一个mysql的数据源，数据源是在数据源管理中事先统一创建好的，数据库表如果不存在可以输入一个新的数据库表名，让ETL自动建表即可。点击运行后即可看到读取了3条数据到mysql数据库表中，再打开数据库表输出节点后点击数据预览节点就可以看到数据库表中已经有3条数据了。这种是比较简单的文本文件，如果文件内容很复杂（如分隔符不规则或者每行数据不对称等）可以用自定义JS脚本来解析文件内容。关键要选中自动建表这个选项，经过上面的配置即可读取文件到数据库中了。只需选择监听到的文件进行读取即可，非常方便。
ETL详解--数据仓库技术
weixin_46653974的博客
01-12 2542
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。它是一种数据处理过程，用于从不同的数据源中提取数据、对数据进行转换和清洗，并将处理后的数据加载到目标系统或数据仓库中。 ETL的优点 常用的ETL工具
扫盲系列（4）：数据仓库ETL流程和ETL工具推荐
oOBubbleX的博客
06-04 1773
介绍了数据仓库ETL流程，并根据数据源不同，推荐了数据仓库ETL工具。
ETL数据仓库的使用方式
RestCloud的博客
02-26 1148
ETL数据仓库使用方式。
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
热门推荐
努力让自己发光，对的人才能迎着光而来
09-25 17万+
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
ETL工具之Kettle开发教程第一节-入门
Elcker
01-30 1011
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么。
ETL培训教程
09-07
ETL 顾名思义, 即数据抽取（Extract）、转换（Transform）、装载 （Load）的过程，它是构建数据仓库的重要环节。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取 到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中， 成为联机分析处理、数据挖掘的基础。
数据仓库与ETL的实现过程
03-24
NULL 博文链接：https://wangmengbk.iteye.com/blog/1021604
ETL方法与过程讲解
望月思灵
06-25 2万+
1 ETL基本概念和术语1.1 ETLExtract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。1.2 DWDataWarehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。1.3 MetaData元数据，就是描述数据的数据，指在数据仓库建设过
数据仓库ETL 概念及实现<1>
weixin_43132433的博客
09-12 1798
  ETL是数据仓库的第一步，指的是数据的EXTRACT、TRANSFER、LOAD三个步骤，解释分别是从操作系统中抽取，数据转化，入库。   数据抽取：   1. 一般来讲，数据抽取需要减少对源系统的影响，和其他团队的依赖，并减少网络依赖；   2. 抽取过程中需要过滤掉数据仓库不需要的数据记录以及字段，这样会减少文件抽取、后续入库、转换的压力。对于记录数可以使用增量、全量的抽取方式，字段...
kettle教程（1） 简单入门、kettle简单插入与更新。打开kettle
weixin_30859423的博客
06-03 6512
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数...
数据仓库ETL流程
聂雄超的博客
08-02 2781
ETL过程： origin：数据来源，文件+数据库，origin->tmp（中间层） ods层：数据源层，将origin数据导入到系统的层,tmp->ods dw层：数据仓库，将ods层数据数据整合层，ods->dw dm:数据集市，支持外部应用 ...
ETL的开发过程
qq_43149023的博客
02-01 4553
在生产环境中, 使用shell脚本完成一次etl操作 1.定义一个etl函数, 里面传入json行数据, 用json.loads加载行数据,并对行数据进行判断,如果没有行数据,或data字段没有在行数据里, 就直接返回空的结果, 否则就继续往下执行 2.接着获取行里的数据, 用for循环判断, 如果包含某个值, 我就将变量赋值取出, 装在集合容器里 3.设置sparksession会话, 并ena...
利用Kettle实现遗留数据库迁移
汪云飞记录本
02-26 447
1. Kettle的简单介绍 Kettle(现名Data Integration)是一款使用Java编写的功能强大的ETL(Extract Transform and Load)工具，支持关系型数据库(PostgreSQL、MySQL、Oracle等)、非关系型数据库(MongoDB、ElasticSearch等)以及文件之间的大规模数据迁移。 2. 常用组件 Kettle提供...
将数据清洗ETL的步骤进行详细介绍
06-11
好的，下面是数据清洗ETL的步骤详细介绍： 1. 数据提取（Extract）：从原始数据源中提取需要的数据，通常会使用数据抽取工具，例如 Sqoop、Flume 等，将数据从各种数据源如关系型数据库、文件等中读取出来。 2. 数据转换（Transform）：对提取的数据进行转换处理，包括数据清洗、数据处理、数据过滤、数据合并、数据排序、数据聚合、数据抽样等操作，通常会使用 ETL 工具，例如 Kettle、Talend 等。 3. 数据加载（Load）：将经过转换的数据加载到目标系统中，通常包括数据插入、更新、删除、替换等操作，目标系统可以是关系型数据库、数据仓库、Hadoop 等，通常会使用 ETL 工具进行数据加载。 4. 数据清洗（Clean）：在数据转换的过程中，对于一些不符合标准的数据需要进行清洗，例如去除脏数据、重复数据、缺失数据等，确保数据的准确性和完整性。 5. 数据校验（Validate）：在数据加载完成后，需要对数据进行校验，确保数据的正确性和一致性，例如对数据进行完整性检查、业务规则检查、数据格式检查等。 6. 数据整合（Integrate）：在数据加载完成后，需要将所有的数据进行整合，通常会使用数据仓库等工具，将数据整合成一个统一的视图。 7. 数据管理（Manage）：对于数据的管理包括数据备份、数据恢复、数据安全等，确保数据的安全性和稳定性。 以上就是数据清洗ETL的步骤详细介绍，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值