什么是ETL:ETL学习(一)

     由于工作的原因接触ETL也越来越多了,也用过几款ETL产品,现在工作重心全在ETL,说句实话,对于ETL,很多知识还是一知半解,索性当自己是一个初学者,记个笔记,记录自己的学习历程。

     一、什么是ETL:

            首先,还是先G一下,看看网上是如何定义的;

            ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程;

            还有一种更为详细的定义;

            将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程;

            网上通常将ETL做为数据仓库建设的一部份,主要是对数据仓库应用中的数据做抽取、转换、清洗、装载;说到这里,就有如下疑问了,数据处理的源是什么?数据处理的目的是什么?

            1、数据源:可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。当然广义一点,可以为关系型的数据库或者是文件系统。

            2、目的地:可以是关系型数据库,也可以是其它的文件系统。

            我个人的理解是:ETL是从数据源获得数据并短暂的持有,在此基础上进行清洗、转换,最后将数据装载到目的地中;

     二、ETL的特性:

            ETL主要是用来处理数据,目前市面上的ETL工具也有无数种,就个人的使用经验而言大致可以总结为以下几点

            1、数据源的定义:ETL将数据源的定义工作已帮你完成了大部份,你只需要选择文件、指定原有的关系型数据库或者配置的其它的数据库连接(ODBC、数据库连接池……),可以是指定的文件、实体表或者是你手工拼好的SQL……

            2、数据转换、及清洗:数据的转换和清洗都可以用图形的方式,展现出来,方便思路的整理,通过使用ETL提供的功能,就能轻松完成转换和清洗工作;

    3、高效、稳定:按照ETL工具提供的配置优化方案配置好之后,能以较高的效率和非常稳定的提交速度来完成数据清洗的工作,比起自己编写程序处理数据速度,那完全是没法与之抗衡!

  总结:

  通过自己这几天的学习,发现ETL是一门很高深的学问,自己需要学习的东西实现是太多了,那就一切从头再来,就当是又上了一次学吧!

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值