![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfNjI=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/48244d141d17e611e1ab48c17a713ce8.jpeg)
大家好,我是你们的章鱼猫。
今天推荐一个简洁优雅的数据流引擎工具 Dagster,它的目标是帮助大家构建与时俱进的数据类应用,通过该工具能够让数据科学家、数据工程师以及其他人员在同一个数据管道上进行合作协同。
![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfODE=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/204fa773ed85df16e4f847759964f3a2.png)
Dagster 拥有优雅的编程模型、增量可扩展能力以及方便易用的 UI,其创建团队中一名成员参与过 GraphQL 的开发。
- 优雅的编程模型
Dagster 定义了一系列的抽象类型,帮助我们构建自描述、可测试和可靠的数据类应用。重要的是,该工具将可测试的能力定义为工具的原生能力。
![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfNTY=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/6d069eed8d2972a096441f2d92a8f84c.jpeg)
- 增量可扩展能力
Dagster 能够方便的集成现有的工具和基础设施,比如 Spark、Python、Jupyter notebook、SQL 等。同时也能与其他的流程引擎进行集成,比如 Airflow。
![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfNTY=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/4b983f66946436d61d04e555bcfe0e3c.jpeg)
- 漂亮易用的 UI
Dagster 定义了一套简洁易用的本地开发界面,能够方便数据工程师、机器学习工程师、数据分析师使用。
![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfNTY=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/937eb0381347c75d4a2c98bb05c63036.jpeg)
以下是一个简单的数据流示例。其中 pipeline 对应一个数据流水线,而其中的 solid 对应一直执行单元,按照一定的规则输入和输出,无其他的副作用。通过定义数据的流向,也就是将不同的 solid 的输入和输出进行串联,最终可以构建一个数据的处理流程。下图的代码能够直接转换成对应的数据流图,方便分析和可视化。
![watermark,image_bG9nby9jc2RuXzEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2UvcmVzaXplLGhfOTQ=,g_se,x_0,y_0,t_100](https://i-blog.csdnimg.cn/blog_migrate/792c6cc912bff9bd4be852b098165c95.png)
更多项目详情请查看如下链接。
开源项目地址:https://github.com/dagster-io/dagster
最后,照旧安利一波我们的公众号:「GitHub 精选」,目前每天都会推荐一篇优质的开源项目文章,主要分享比较实用或有趣的开发工具与开源项目。我们的目标是:挖掘开源的价值。这个公众号超级值得大家关注。