流集数据收集器管道概念和设计：什么是管道？

什么是管道？

管道描述从源系统到目标系统的数据流，并定义如何在此过程中转换数据。

您可以使用单个源阶段来表示源系统，使用多个处理器阶段来转换数据，并使用多个目标阶段来表示目标系统。

开发管道时，可以使用开发阶段提供示例数据并生成错误以测试错误处理。您可以使用数据预览来确定阶段如何通过管道更改数据。

可以使用执行程序阶段来执行事件触发的任务执行或保存事件信息。若要处理大量数据，可以使用多线程管道或群集模式管道。

在写入 Hive 或 parquet 或 PostgreSQL 的管道中，可以实现数据偏移解决方案，以检测传入数据中的偏移并更新目标系统中的表。

启动管道时，数据收集器将运行该管道，直到您停止管道或关闭数据收集器。可以使用数据收集器运行多个管道。

在管道运行时，可以监视管道以验证管道是否按预期执行。还可以定义指标和数据规则以及警报，以便在达到特定阈值时通知你。