NiFi 数据来源

最新推荐文章于 2024-04-27 03:04:24 发布

小伙无限帅

最新推荐文章于 2024-04-27 03:04:24 发布

阅读量732

点赞数

分类专栏： Apache NiFi

本文链接：https://blog.csdn.net/qq271003351/article/details/118494860

版权

NiFi的Provenance Repository详细记录了数据处理的每个步骤，包括事件详情、谱系图等信息。用户可以通过搜索功能查看特定事件，获取事件时间、影响的FlowFile、执行组件等详细信息。此外，谱系图提供了数据流经系统的图形表示，帮助分析处理瓶颈和数据血缘关系。

摘要由CSDN通过智能技术生成

数据来源

NiFi 对其摄取的每个数据保持非常精细的细节。当数据通过系统处理并被转换, 路由, 拆分, 聚合和分发到其他端点时, 这些信息都存储在 NiFi 的 Provenance Repository中。为了搜索和查看此信息, 我们可以从全局菜单中选择数据源(Data Provenance)。会弹出一个表格, 列出我们搜索过的 Provenance事件:

此表列出了最近发生的1000个Provenance事件(尽管事件发生后可能需要几秒钟才能处理信息)。在此对话框中, 有一个Search按钮, 允许用户搜索特定处理器发生的事件, 按文件名或UUID或其他几个字段搜索特定的FlowFile。在nifi.properties文件中提供了配置这些属性中哪些属性可编入索引或可作为搜索条件的功能。此外, 配置文件还允许您指定被搜索的FlowFile属性。因此, 您可以指定哪些属性对您的特定数据流很重要, 并使这些属性可搜索。