etlgr是什么服务器_什么是ETL,ETL工程师的的主要工作职责是什么?

谢邀。

我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据,以满足各种商业场景需求。

简单来说,如果把数据分析类比成做菜,ETL相当于备菜。

备菜不是个容易的事,

首先,你要熟悉做这道菜的原料,比如,鸡丁,花生,葱,姜,辣椒等。哪里买,怎么运输过来。

其次,你要会用刀,砧板,碗等工具和器材来处理这些食材。

再次,你要知道鸡丁切多大,葱花多碎等。

最后,把所有准备好的材料递给主厨即可。

上面的比喻有点烂,不过意思比较接近。真实的商业场景要复杂许多,但是基本的东西无外乎:

1,理解用户对数据的需求,比如你要知道那些数据是可以抓出来的,哪些不可以。哪些数据需要很久,哪些很快。

2,会用数据库和编程语言进行数据抓取,比如Redshift,SQL, JS, Python

3,好的商业和技术直觉,这个比较难。就是不被用户牵着鼻子走,或者建立一些automation的东西来增加效率。

个人觉得,ETL是一个非常重要,非常基础的过程。是一个事半功倍的步骤。很多公司都在招ETL工程师。而且目前大数据,AI, Data Science这些概念特别火,其实万变不离其宗,ETL是其中的一宗。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值