Apache Nifi

最新推荐文章于 2025-02-13 17:50:35 发布
置顶 最新推荐文章于 2025-02-13 17:50:35 发布
阅读量726 收藏
点赞数
分类专栏： NiFi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangmin1983/article/details/80211820
版权
Apache Nifi包含多种处理器，如GetHTTP用于从指定URL获取数据并记录Etag和修改时间，减少服务端负担；ListenHTTP监听HTTP/HTTPS请求，接收POST参数到FlowFile；InvokeHTTP提供更灵活的HTTP请求配置；PostHTTP将FlowFile内容作为POST请求发送，常用于跨NiFi实例的数据交换；HandleHttpRequest和HandleHttpResponse则用于启动HTTP服务，处理请求和响应。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2.3.9 HTTP协议类处理器单元
GetHTTP

GetHTTP处理器单元对配置的http或者https协议的URL发起请求并将返回结果输出到新的FlowFile中。而且GetHTTP会记录Etag和最新数据修改时间避免不停的访问给服务端产生不必要的开销。如下图


ListenHTTP

ListenHTTP处理器单元监听Http或者Https请求，如果有请求先返回200然后将POST的请求参数输出到新的FlowFile中。


上面的图中表示Processor监听locahost的http请求，请求URL为http://localhost:9080/contentListener
InvokeHTTP

InvokeHTTP处理器单元能够根据用户的配置发送HTTP协议请求。InvokeHTTP处理器单元通过更多的配置可以完成比GetHTTP和PostHTTP更多的功能。如下图


PostHTTP

PostHTTP处理器单元将FlowFile的内容作为HTTP POST请求的body消息。它通常与ListenHTTP处理器单元组合使用，应用于当多个NiFi实例之间不能通过Site-to-Site的方式进行数据交换的场景。如下图


HandleHttpRequest / HandleHttpResponse
HandleHttpRequest处理器单元可以作为一个源处理器单元来启动一个HTTP监听服务功能，类似于ListenHTTP。但是这个处理器不响应客户端，它将请求的参数以FlowFile的内容和属性的方式，响数据流的下游进行传递。HandleHttpResponse处理器单元能够响应并将处理后的FlowFile结果返回请求的客户端。这两个处理器通常都是在一起被使用的。

Apache NiFi 开发 处理器使用说明
格赚
12-02 1180
NIFI的使用： 注意：FlowFile由【属性】和【内容】组成，在解析的过程中这个概念非常重要，因为有些组件操作的是属性，有些组件操作的是内容，在配置组件时Destination配置项的选择很重要，flowfile-content将解析结果放在数据流的内容中替换了原有的内容，flowfile-attribute将解析结果添加到flowfile的属性中，原本的内容不变。根据后续操作的需要，选择处...
Apache NiFi mqtt到redis存储HashMap格式
04-01
该模版使用了nifi 15个处理器,包含10种类型, 分别有mqtt的发布,消费,kafka的发布消费 如何处理json格式, 读取json格式的 for循环读取数组的 自定义redis的等
nifi使用笔记
11-21
NiFi管理员或数据流管理器（DFM）可能会发现，在单个服务器上使用NiFi的一个实例不足以处理它们拥有的数据量。 所以，一个解决方案是在多个NiFi服务器上运行相同的数据流。 但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，都必须在每个服务器上进行这些更改，然后分别监视每个服务器。 通过对NiFi服务器进行集群化，可以增加处理能力以及单个接口，通过这个接口可以改变数据流并监控数据流。 集群允许DFM只进行一次更改，然后将更改复制到集群的所有节点。 通过单个接口，DFM还可以监视所有节点的健康和状态。
Apache NIFI HandleHttpRequest、HandleHttpResponse配置教程
酷酷的诚的博客
03-25 3984
一、HandleHttpRequest 描述： HandleHttpRequest该处理器启动HTTP服务器并侦听HTTP请求。对于每个请求，创建一个流文件并传输到“success”。此处理器需要与HandleHttpResponse处理器一起使用，以便创建Web服务。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的...
NIFI使用InvokeHTTP发送http请求
高性价比服务器就选：蓝易云
04-01 718
这个处理器非常灵活，可以配置各种HTTP方法（如GET、POST、PUT等），以及请求头，请求体，代理设置等。需要注意的是，InvokeHTTP处理器仅负责发送HTTP请求，对于HTTP响应的处理，你可能需要添加额外的处理器。例如，如果响应是JSON格式的，你可能需要添加一个"EvaluateJsonPath"处理器来提取JSON中的数据。这里有多个标签页，包括"Settings"，"Scheduling"，"Properties"等。然后，你可以右击处理器图标，选择"Start"开始运行处理器。
ETL解决方案大PK：Apache NiFi、DataX、Kettle哪个更适合你？
04-16
### ETL解决方案大PK：Apache NiFi、DataX、Kettle哪个更适合你？ #### 引言 随着大数据时代的到来，企业对于数据的处理需求日益增加。为了更好地管理和利用这些数据，ETL（Extract-Transform-Load）作为一种常用...
Apache Nifi 概念介绍、源码解析、开发指南（中文）
03-06
Apache NiFi 概念介绍、源码解析、开发指南（中文） Apache NiFi 是一个开源的数据集成工具，由 Apache 软件基金会维护。NiFi 的核心设计理念是 Flow-Based Programming，它可以将数据从各种 sources 中提取，转换...
数据集成工具：Apache Nifi.zip
08-18
史上最全大数据技术全套教程，包括： 分布式存储系统 大数据基础 大数据处理框架 大数据管理与监控 实时计算 数据仓库 数据分析工具 数据湖 数据集成工具 消息队列 等流行技术的系列教程
告别复杂脚本！Apache NiFi 数据流处理与安装全攻略
最新发布
nacheng的专栏
02-13 1012
作为一款强大的开源数据流自动化工具，NiFi 专为数据流管理和系统集成而设计，能够高效地在不同系统之间处理、传输和转换数据。正因如此，Apache NiFi 成为了企业数据集成和同步的首选工具，尤其适用于需要跨平台、跨系统处理复杂数据流的场景。在集群中，数据流可以跨多个节点进行分布式处理。NiFi 内置的审计日志功能可以帮助你记录和追踪所有数据流活动，包括数据处理、传输和错误。NiFi 提供了详细的监控和报告功能，可以帮助你跟踪数据流的状态。可以对不同的用户和角色进行精细的权限管理，确保数据的安全访问。
Nifi 常用Processor
Tine Aine
01-29 1354
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
NIFI自定义开发API-HTTP分页功能
为什么简介是必填项？
08-21 1866
此文档目的为：在NIFI ETL中开发自定义HTTP分页查询，通过接口响应回的总条数和总页数， 生成多个分页查询的API接口地址，然后逐一进行请求获取响应信息； HTTP分页查询一般为POST查询，此流程第二个组件同时也配置GET请求的分页查询；
Nifi配置HTTP请求
永无止境
07-15 1970
主要利用ReplaceText和InvokeHTTP，针对某一个业务数据处理服务，去获取数据或者发送数据。 本实例是通过HTTP接口获取数据，最后写入Clickhouse。 截取部分流程如下：
Apache NiFi 入门指南
热门推荐
张伯毅的专栏
03-19 1万+
本指南使用于谁？ 本指南适用于从未使用过，在NiFi中有限度接触或仅完成特定任务的用户。本指南不是详尽的说明手册或参考指南。“用户指南”提供了大量信息，旨在提供更加详尽的资源，并且作为参考指南非常有用。相比之下，本指南旨在为用户提供所需的信息，以便了解如何使用NiFi，以便快速轻松地构建强大而灵活的数据流。 一些因为本指南中的某些信息仅适用于初次使用的用户，而其他信息可能适用于那些使用过Ni...
apache nifi 的入门使用
付哥的技术课堂
02-08 1914
整体文件竟然1.5G左右。现在已经下载下来了。基本上视频教程大概两个小时左右。国内的使用比较少。 dataflow 数据流 不同系统之间的数据流通 Nifi 是用来处理数据集成场景的数据分发，BS结构的图形化。 1、高可用 2、高性能高并发 3、错误纠察 4、对于现实业务的变更可以快速响应 5、对于不同系统之间的数据格式可以进行兼容，兼容各种数据格式 6、安全性比较高 7、可以方便的在测试和生产环境中进行迁移。 这就是nifi的核心概念。FBP 流式编程 F...
Apache NIFI InvokeHTTP
酷酷的诚的博客
03-29 5379
描述： 该处理器用于执行HTTP请求。目标URL和HTTP方法是可配置的。流文件属性可以被转换为HTTP头文件，流文件内容被包含为请求的主体(前提如果使用HTTP PUT、POST或PATCH方法)。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。除此之...
nifi发送消息到Kafka--示例
Younge的专栏
12-30 7666
从Ftp指定目录抽取文件，将文件内容更换为文件名和文件抽取路径，并将此内容发送到kafka主题为test1下的消息队列中。
nifi -由http访问改为跳转到https访问
xu19950210rou的博客
06-01 1283
通过官网的配置的nifi的访问地址是http形式的，现在为了安全起见要将其改为https访问。 1，确保nifi通过http能够正常访问的。（nifi里面的配置不需要做任何变动） 2，安装nginx，安装参考：https://www.runoob.com/linux/nginx-install-setup.html。除了“nginx配置”部分没弄之外其余可以都按照此教程的步骤操作，亲测可用。 3，配置nginx（重点）。 3.1，在/conf目录下，找到nginx.conf文件，主要另外新增..
NIFI Processors，流程归类 汇总
酷酷的诚的博客
04-04 1610
以本博客内已整理出的processor ，流程 为主，稍后有时间会再做整理 1：HTTP 相关 InvokeHTTP 做HTTP请求 https://blog.csdn.net/weixin_36048246/article/details/88895123 HandleHttpRequest、HandleHttpResponse 做NIFI web服务 https://...
Apache nifi
01-25
### 关于 Apache NiFi 的入门指南 Apache NiFi 是一款强大的数据集成工具，设计用于自动化管理来自不同源到目标的数据流动。对于初次使用者而言，《第二章 Apache NiFi 入门指南》提供了一个简洁明了的学习路径[^1]。 #### 安装与配置 为了启动并运行 NiFi 实例，用户需下载最新版本的软件包，并按照官方文档中的指导完成安装过程。一旦设置完毕，通过浏览器访问 http://localhost:8080/nifi 即可进入图形化界面。 #### 基础概念介绍 - **FlowFile**: 表示正在处理的数据单元。 - **Processor**: 执行具体操作的任务组件，如获取文件、转换内容等。 - **Connection**: 连接 Processor 之间的通道，定义数据传输方向。 - **Process Group**: 将多个 Processors 和 Connections 组合成逻辑单元。 - **Controller Services**: 提供共享服务给其他组件使用的辅助功能模块。 #### 创建简单工作流实例 假设有一个需求是从本地磁盘读取日志文件并将它们发送至远程服务器存储： 1. 使用 `GetFile` Processor 获取指定目录下的新文件； 2. 应用 `UpdateAttribute` 修改 FlowFiles 属性（例如添加时间戳）； 3. 利用 `PutSFTP` 或者 `PutHTTP` 发送经过加工后的记录到目的地； ```xml <process-group name="Log Transfer"> <!-- Get log files from local filesystem --> <processor type="org.apache.nifi.processors.standard.GetFile"/> <!-- Update attributes of the flow file --> <processor type="org.apache.nifi.processors.attributes.UpdateAttribute"/> <!-- Send processed logs via SFTP or HTTP --> <processor type="org.apache.nifi.processors.standard.PutSFTP"/> </process-group> ``` 此段 XML 片段展示了如何在一个名为 "Log Transfer" 的 Process Group 中组织上述三个处理器来实现基本的日志转移流程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值