集成oss_开源数据集成和ETL的现状，Singer，Airbyte等

> Image from Simon Migaj on Pexels

开源数据集成并不新鲜。它始于16年前的Talend。但此后，整个行业发生了变化。Snowflake，Bigquery和Redshift之类的文件已经改变了数据的托管，管理和访问方式，同时使数据变得更容易且更便宜。但是，数据集成行业也在发展。

一方面，出现了新的开源项目，例如2017年的Singer.io。这使更多的数据集成连接器可以供更多团队使用，尽管它仍然需要大量的手工工作。

另一方面，更多的团队(分析师，科学家，商业智能团队)可以访问数据集成。 的确，像Fivetran这样的公司受益于Snowflake的崛起，它使非工程团队可以自行设置和管理其数据集成连接器，从而可以自主使用和处理数据。

但是即使取得了这一进展，大多数团队仍在内部构建自己的连接器。建造与购买的关系在很大程度上取决于建造。因此，我们认为现在应该对围绕数据集成的开源技术进行全新的了解。

但是，本文的想法来自上周关于DBT的Slack的激烈辩论。讨论围绕两件事：

· Fivetran的开源替代品的状态，以及

· 在解决数据集成问题时，开源(OSS)方法是否比商业软件方法更相关。

甚至Fivetran的首席执行官都参与了辩论。

> Image captured by author

我们已经在上一篇文章中综合了第二点。在本文中，我们要分析第一点：开源数据集成技术的前景。

TL; DR

这是总结我们分析的表格。