【SDC】StreamSets实战之路-1-环境篇- StreamSets简介

StreamSets总体介绍

StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线，解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子，有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。

自公司成立以来，成功研制了多款用于数据处理的软件及平台。下图是该公司主要的产品：

Streamsets推出的产品主要包含：Data Collector、Transformer和Control Hub。Data Collector和Transformer主要用于数据收集、处理、分析等，Control Hub作为一个平台管理软件提供设计、发布、监控、智能数据流管理等。

Data Collector：是一种轻量级，功能强大的设计和执行引擎，可实时传输数据。使用该软件来路由和处理数据流中的数据。目前为开源产品。

Transformer：是一个执行引擎，可在Apache Spark（一种开放源代码群集计算框架）上运行数据处理管道。由于Transformer管道在群集上部署的Spark上运行，因此管道可以执行转换，这些转换需要以批处理或流模式对整个数据集进行大量处理。暂未开源。