吸星大法NiFi——使用NiFi实现文件同步功能

转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/84940992
本文出自【我是干勾鱼的博客

Ingredients:

之前在吸星大法NiFi——NiFi下载及安装中讲述了NiFi搭建的方法,今天使用NiFi实现一个简单的操作:磁盘文件同步。

我们要做的是,原文件夹:

/opt/tmp/ninf/input/

有一个文件file.txt:

root@iZuf67********************:/opt/tmp/nifi/input# ls -al
total 12
drwxr-xr-x 2 root root 4096 Dec 10 21:55 .
drwxr-xr-x 4 root root 4096 Dec 7 22:36 …
-rw-r–r-- 1 root root 14 Dec 10 21:55 file.txt

其内容为:

Hello world!

要使用NiFi将其移动到目标文件夹:

/opt/tmp/ninf/output/

并且保留源文件夹中的源文件。

1 创建GetFile Processor

从工具栏中拖入一个Processor,如图所示:

在这里插入图片描述

在弹出面板中搜索GetFIle,然后确认,如图所示:

在这里插入图片描述

双击Processor,弹出配置信息,如图所示:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2 创建PutFile Processor

同样再拖入一个Processor,搜索“PutFile”,如图所示:

在这里插入图片描述

双击Processor,弹出配置信息,如图所示:

在这里插入图片描述

在这里插入图片描述

3 创建Connection

此时这2个Processor如图所示:

在这里插入图片描述

拖拽GetFile的箭头到PutFile,上图所示,此时会弹出Create Connection,如下图所示:

在这里插入图片描述

此时如图:

在这里插入图片描述

4 运行Processor

同时选中2个Processor,然后右键选择Start,如图所示:

在这里插入图片描述

能够看到目标文件夹出现了文件:

root@iZuf67*********************:/opt/tmp/nifi/input# ls -al …/output/
total 12
drwxr-xr-x 2 root root 4096 Dec 10 22:12 .
drwxr-xr-x 4 root root 4096 Dec 7 22:36 …
-rw-r–r-- 1 root root 13 Dec 10 22:12 file.txt

5 停止Processor

右键Stop即可将其停止。

6 删除Processor

注意,如果想删除Processor,先要右键对Connection设置“Empty queue”,并将其删除;然后就可以右键将Processor删除了,如图所示:

在这里插入图片描述

7 参考

吸星大法NiFi——NiFi下载及安装

Getting Started with Apache NiFi

【NIFI】 Apache NiFI 安装及简单的使用

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
nifi中,批量数据同步是指将多个源数据的批量更新传输到目标数据的过程。nifi是一个功能强大的数据集成工具,可以实现数据的快速、可靠的同步。 首先,我们需要在nifi中配置源数据的输入和目标数据的输出。可以使用各种处理器来完成不同的任务,例如GetFile处理器用于读取本地文件,PutHDFS处理器用于将数据写入Hadoop分布式文件系统。我们可以根据实际需求选择不同的处理器来读取源数据和写入目标数据。 其次,我们可以使用nifi中的数据流来对源数据进行转换和处理。有许多处理器可用于数据转换,例如SplitText处理器用于拆分文本数据,而MergeContent处理器用于合并数据。我们可以根据需要进行数据处理,以满足数据同步的要求。 接下来,我们需要设置数据同步的策略和调度。nifi提供了灵活的调度功能,可以根据设定的时间间隔或其他条件来执行数据同步任务。例如,我们可以设置每天晚上自动同步数据,或者根据源数据的更新来实时同步数据。 最后,我们需要监控和管理数据同步的过程。nifi提供了丰富的监控和管理功能,可以帮助我们了解数据同步的进度和状态。我们可以查看数据同步的日志,监控数据的传输速率和延迟,以及处理器的运行情况。此外,我们还可以设置警报和通知,以便及时处理任何问题。 综上所述,nifi提供了一套强大的工具和功能,可以实现批量数据的同步。通过合理配置和设置,我们可以实现高效、可靠的数据同步,并提供监控和管理功能,以确保数据同步的顺利进行。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值