etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
工作内容:
海量数据的ETL开发,抽取成各种数据需求。
参与数据仓库架构的设计及开发 。
参与数据仓库ETL流程优化及解决ETL相关技术问题。
熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。
精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。
会数据etl开发工具,如Datastage,Congos,Kettle等。
ETL中三个字母分别代表的是Extract
、Transform
、Load
,即抽取、转化、加载。
数据抽取:从源数据系统抽取目的数据系统需求的数据;
数据转换:将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;
数据加载:将转换后的数据装载到目的数据源。