谢邀。
我个人平时工作有40%的工作是ETL,主要是从各种系统里面用不同的语言和方法抓数据,以满足各种商业场景需求。
简单来说,如果把数据分析类比成做菜,ETL相当于备菜。
备菜不是个容易的事,
首先,你要熟悉做这道菜的原料,比如,鸡丁,花生,葱,姜,辣椒等。哪里买,怎么运输过来。
其次,你要会用刀,砧板,碗等工具和器材来处理这些食材。
再次,你要知道鸡丁切多大,葱花多碎等。
最后,把所有准备好的材料递给主厨即可。
上面的比喻有点烂,不过意思比较接近。真实的商业场景要复杂许多,但是基本的东西无外乎:
1,理解用户对数据的需求,比如你要知道那些数据是可以抓出来的,哪些不可以。哪些数据需要很久,哪些很快。
2,会用数据库和编程语言进行数据抓取,比如Redshift,SQL, JS, Python
3,好的商业和技术直觉,这个比较难。就是不被用户牵着鼻子走,或者建立一些automation的东西来增加效率。
个人觉得,ETL是一个非常重要,非常基础的过程。是一个事半功倍的步骤。很多公司都在招ETL工程师。而且目前大数据,AI, Data Science这些概念特别火,其实万变不离其宗,ETL是其中的一宗。