Apache NIFI RouteOnAttribute

最新推荐文章于 2024-04-09 08:00:00 发布
最新推荐文章于 2024-04-09 08:00:00 发布
阅读量2.6k 收藏 5
点赞数 1
分类专栏： NIFI-Processors 文章标签： Apache NIFI NIFI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36048246/article/details/88822195
版权
Apache NIFI的RouteOnAttribute处理器通过属性表达式语言来根据流文件属性进行路由决策。配置包括动态属性、连接关系设定，可用于实现自定义逻辑。适用于需要基于属性判断的场景，文中提供了一个判断属性值是否为空的示例。
摘要由CSDN通过智能技术生成

RouteOnAttribute

编辑人(全网同名)：酷酷的诚 邮箱：zhangchengk@foxmail.com

#描述

该处理器使用属性表达式语言，根据流文件的属性去计算然后进行路由。

#属性配置

在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。

属性名称 默认值 可选值 描述
Routing Strategy Route to Property name ▪ Route to Property name
▪Route to 'matched' if all match
▪Route to 'matched' if any matches		 指定如何确定在计算表达式语言时使用哪个关系

最低0.47元/天 解锁文章
酷酷的诚(公众号:Panda诚)
关注
专栏目录
Apache NiFi最全面试题及参考答案
大模型大数据攻城狮的专栏
10-03 838
同时，NiFi 也可以根据监控数据提供反馈，例如当某个处理器的处理速度过慢时，可以自动调整连接的流量控制参数，以提高系统的整体性能。其次，报告任务可以监控处理器的性能。同时，NiFi 提供了细粒度的授权机制，可以为不同的用户或用户组分配不同的权限，如读取、写入、删除数据等。例如，ConvertJSONToAvro 处理器可以将 JSON 格式的数据转换为 Avro 格式，Filter 处理器可以根据特定条件过滤数据，MergeContent 处理器可以将多个 FlowFile 的内容合并为一个。
NiFi Processors之RouteOnAttribute
邢为栋
05-05 1571
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：**RouteOnAttribute **。 描述 使用Attribute Expression L...
Apache NIFI RouteOnContent
酷酷的诚的博客
03-22 1842
描述： 该处理器使用正则表达式去匹配流文件的内容，并将流文件路由到正则表达式所匹配的relation。在用户自定义的属性上添加正则表达式，其中属性的名称是关系的名称，值是一个正则表达式，用于匹配流文件内容。用户定义的属性支持属性表达式语言，但是表达式计算的结果被解释为文字值，而不是正则表达式。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗...
NiFi开发教程之--RouteOnAttribute(路由属性)
【 风中摇曳的小码农】的专栏
06-12 3245
NiFi是一款功能强大的开源的ESB软件，适合多个系统间的数据流转以及大数据的处理。这里记录下RouteOnAttribute(路由属性)的使用方法。 首先，拖拽一个Processor组件，选择RouteOnAttribute。如图1所示： 图1 右键选中Configure选项进行配置，如图2所示： 图2 重点是属性的配置，如图3所示： 图3 其中，Propo
APACHE NIFI学习之—RouteOnAttribute
qq_16313575的博客
09-27 570
attributes, routing, Attribute Expression Language, regexp, regex, Regular Expression, Expression Language, 属性, 路由, 表达式, 正则。使用属性表达式语言根据其属性路由数据流，每个表达式必须返回Boolean类型的值（true或false）。. 其他未加粗参数，则表示为可选参数。//意思是四个流文件属性如果有一个为空，则返回true。如下列表中，必填参数则标识为。组件必须提供输入流。
nifi ExecuteScript、RouteOnAttribute使用
aXFD_YY的博客
11-14 1332
ExecuteScript 本文使用python，其他语言请参考这里 1.从FlowFile获取文件： flowFile = session.get() 2.脚本结束后路由(不路由会报错) #路由到成功 session.transfer(flowFile, REL_SUCCESS) #路由到失败 session.transfer(flowFile, REL_FAILURE) 3.设...
ETL工具-nifi干货系列 第十讲 处理器RouteOnAttribute使用教程，方便灵活控制数据流向
最新发布
zhangjin1222的博客
04-09 954
之后connection 连线配置的关联选项只有matched和unmatched两个选项，如userId=1或者userId=100路由到LogMessage-kkk，相当于java中的if(userId.equals('1')||name.equals('Java小金刚')){print('我路由到LogMessage-kkk')}相当于switch-case，多路分支。：针对一条路由规则进行控制，如userId=1时路由到LogMessage-1，相当于java中的switch-case。
Apache NiFi 典型案例
qq_29454203的博客
05-27 2512
NIFI典型案例 课程目标 1、离线同步Mysql数据到DFS 2、Json内容转换为Hive支持的文本格式 3、实时同步Mysql数据到Hive 4、Kafka的使用 1.离线同步Mysql数据到hdfs 大数据数据仓库系统中，经常需要进行数据同步操作，可以使用nifi来进行灵活的全流程操作。 准备工作： 启动Mysql服务(5.7版本)，在Mysql中运行\资料\mysql\nifi_test.sql中的SQL语句。 启动Hadoop集群(与NiFi集群在同一个可访问的局域网网段) 1.1处理器流程
Apache NiFi处理器的类别介绍
weixin_59295776的博客
07-28 197
NiFi包含许多不同的处理器。这些处理器提供了可从众多不同系统中提取数据、路由、转换、处理、拆分和聚合数据以及将数据分发到多个系统的功能。介绍一些最常用的处理器,按功能对它们进行分类。7、数据出口/发送数据。
nifi使用笔记
11-21
NiFi管理员或数据流管理器（DFM）可能会发现，在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以，一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，都必须在每个服务器上进行这些更改，然后分别监视每个服务器。 通过对NiFi服务器进行集群化，可以增加处理能力以及单个接口，通过这个接口可以改变数据流并监控数据流。 集群允许DFM只进行一次更改，然后将更改复制到集群的所有节点。 通过单个接口，DFM还可以监视所有节点的健康和状态。
深入学习Apache NiFi中的数据路由与路由策略
Apache NiFi是一个开源的、易于使用的数据处理和分发系统，最初由美国国家安全局（NSA）开发并作为开源项目贡献给了Apache软件基金会。它提供了直观的用户界面，可以通过简单拖放方式来构建数据流，同时具备强大的...
Nifi Processor | RouteText 与 RouteOnContent
野狼e族 的博客
06-13 900
RouteText 根据一组用户定义的规则路由文本数据。传入的FlowFile中的每一行都与用户定义的Properties指定的值进行比较。将文本与这些用户定义的属性进行比较的机制由“匹配策略”定义。然后根据这些规则路由数据，分别路由文本的每一行 RouteOnContent, 将正则表达式应用于FlowFile的内容，并将FlowFile的副本路由到其正则表达式匹配的每个目标。正则表达式作为用户定义的属性添加，其中属性的名称是关系的名称，值是正则表达式以匹配Fl...
【NiFi】NiFi 中的处理器（一）：GenerateTableFetch
书山有路，学海无涯。记录成长，追逐梦想
11-07 611
该处理器用于生成在表中执行分页查询的 SQL 查询语句，分区（属性partition）大小以及表的行数决定页面的大小和数量以及生成的流文件。此外，可以通过设置最大值列（Max-Value）来实现增量抓取数据，处理器会跟踪列的最大值，从而只抓取列值超过已记录到的最大值的行。
《数据同步-NIFI系列》Nifi详细教程入门-05Nifi属性及基础操作
https://blog.datasource.space
09-30 2369
Nifi属性及基础操作
NiFi FlowFile属性
小伙无限帅
07-05 1519
Flow File属性 每个 FlowFile 都拥有多个属性, 这些属性将在 FlowFile 的声明周期中发生变化。FlowFile 的概念非常强大, 并提供三个主要优点: 首先, 它允许用户在流中做出路由决策, 以便满足某些条件的 FlowFiles 可以与其他 FlowFiles 进行不同的处理。这可以由RouteOnAttribute和其他类似的处理器完成。 其次, 利用属性配置处理器: 处理器的配置依赖于数据本身。例如, PutFile 能够使用 Attributes 来知道每个 FlowFi
nifi更改属性的方法——UpdateAttribute
大数据技术杂谈
04-28 8877
在nifi中FlowFile的组成包括属性和内容两部分： 属性：给用户数据提供上下文和附加信息的特征信息。由键值对表示。属性的例子有uuid、filename、path等。 内容：实际的数据 在nifi中更改属性的方法有三种，分别是 1. Basic Usage：更改经过这个Processor的FlowFile的默认属性。 2. Advanced Usage：这个允许更改
Apache NiFi用户指南
热门推荐
张伯毅的专栏
03-20 1万+
介绍 Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由，转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计，控制，反馈和监控数据流。它在服务质量的几个方面具有高度可配置性，例如容错与保证交付，低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收，分叉，加入克隆，修改，发送和最终在达到其配置的最终状态时丢弃的数据提供细粒度数据来源。 有关...
NIFI Processors，流程归类 汇总
酷酷的诚的博客
04-04 1559
以本博客内已整理出的processor ，流程 为主，稍后有时间会再做整理 1：HTTP 相关 InvokeHTTP 做HTTP请求 https://blog.csdn.net/weixin_36048246/article/details/88895123 HandleHttpRequest、HandleHttpResponse 做NIFI web服务 https://...
apache nifi1.22
10-30
Apache NiFi 1.22是一个开源的数据流编排工具，它提供了强大的数据流管理和自动化功能。 首先，Apache NiFi 1.22具有强大的数据流管理功能。它可以连接多种数据源和目标，并支持复杂的数据转换和处理操作。用户可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值