一站式数据开发工具构思

正在思考在数据项目中，提供一个什么样的开发工具，可以提高数据治理效率，降低ETL门槛，在政府项目中可以让更多的委办局利用云平台完成数据治理的工作。下图是初步构建的一个功能，不同于kettle等ETL工具，这个工具希望能将尽可能多的业务规范、业务概念整合为开发组件，将成熟的范式直接应用到数据清洗与融合的过程中，让数据流程看起来更接近业务视角。另外，考虑到设计的数据流程直接转换为ETL脚本，可能会存在性能的问题，因此在发布之前，引入编译的过程，通过将流程节点进行合并优化，生成更加高效的ETL脚本用于作业执行。