NiFi 简单使用

NiFi 使用

一. 添加和配置第一个处理器: GetFile

1. 添加处理器

2. 设置处理器名称

一般来说, 当有多个相同类型的处理器时, 需要修改它的名称, 保证可读性及名称不重复

3. 设置 Properties 选项

Nifi处理器官方文档: http://nifi.apache.org/docs.html
GetFile属性说明

Name Default Value Allowable Values Description
Input Directory(输入目录) 要从中提取文件的输入目录
支持表达式语言:true(仅使用变量注册表进行评估)
File Filter(文件过滤器) [^.].* 仅选择名称与给定正则表达式匹配的文件
Path Filter(路径过滤器) 如果“递归子目录”为true,则仅扫描其路径与给定正则表达式匹配的子目录
Batch Size(批量大小) 10 每次迭代中提取的最大文件数
Keep Source File(保留源文件) false true
false
如果为true,则将文件复制到内容存储库后不会删除该文件;这会导致文件不断被拾取,对于测试目的很有用。如果没有保留原始NiFi,则需要从其提取目录中具有写权限,否则它将
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是使用 Apache NiFi 搭建简单数据流的 demo 介绍: 1. 安装 NiFi:首先需要下载并安装 NiFi。可以从官方网站下载最新版本的 NiFi,或者从 Apache 的镜像站点下载。安装完成后,启动 NiFi。 2. 创建数据流:在 NiFi 的主界面中,点击左侧的 Processors 标签,可以看到各种可用的处理器。选择一个 GetFile 处理器,将其拖拽到右侧的工作区。然后双击 GetFile 处理器,进入其配置界面,设置输入文件夹路径,然后点击 Apply。 3. 添加处理器:在工作区中,再次拖拽一个处理器,例如 ConvertJSONToSQL 处理器。将其连接到 GetFile 处理器的输出端口。然后双击 ConvertJSONToSQL 处理器,进入其配置界面,设置输出数据库连接信息和 SQL 语句,然后点击 Apply。注意,需要预先安装并配置相应的数据库。 4. 运行数据流:在工作区中,点击右上角的运行按钮,NiFi 将开始运行数据流。它会自动从输入文件夹中读取数据,将其转换为 SQL 语句,并将结果插入到数据库中。 5. 监控数据流:在 NiFi 的主界面中,可以看到各种监控信息,包括处理器的状态、数据流的流量、错误信息等。可以使用这些信息来监控和调试数据流。 这是一个简单NiFi 数据流示例,演示了如何使用 NiFi 来实现数据处理和转换。根据实际需求,可以添加更多的处理器,以实现更复杂的数据转换和处理任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值