NIFI源码学习-(一)处理器启动

8 篇文章 3 订阅

一、启动代码跟踪

先在界面上拖拽出来一个处理器

当在界面上点击右键 start 一个处理器,会向这个地址发送一个请求:

http://localhost:8080/nifi-api/processors/092f4a2b-0180-1000-3e18-f52febec01b8/run-status

处理这个请求的控制器位置如下:

 暂时抛开其他细节,747行这里基本上是把从URL 和body中的参数传了进去。

 跟进去

 

 上边453行的意图就很明显了,通过传进来的参数,判断对处理器进行的操作。在前边点击处理器的时候,可以看到要把处理器改成RUNNING的状态

 所以进455行,

parentGroup.startProcessor(processor, true);

 由这一行代码也可以看出,处理器的启动,是由所处的处理器组完成的。

这里额外说一下,在遇到接口的时候,选择stand开头的实现进去即可。

 上图红框的位置  scheduler 是 StandardProcessScheduler类

跟进去方法,来到

还有start 方法,继续点,就来到了 StandardProcessorNode 类当中,这个类就对应前端页面的一个处理器实例。

最后来到了1385行,这个方法把  startupTask 的构造缩略掉,如下

1498行 注释是这样的:

// Create a task to invoke the @OnScheduled annotation of the processor

新建一个任务去调用处理器中 有 @OnScheduled注解的方法,该方法可以理解为具体处理器的初始化方法,比如一个处理器需要连接数据库,那就可以在这个方法中建立数据库连接池。

构造过程关键的两步:

上边是用放射 调用 OnScheduled 方法

下边的方框,通过回调,把当前处理器,加入调度

 跟进314行的这个 schedule  方法,来到这里

 跟进46 行,选择  TimerDrivenSchedulingAgent  来到

 熟悉NIFI的,对87行的 getMaxConcurrentTasks 可能比较眼熟,最大任务数,其实就是在界面配置的值

 配置多少个,就会往 flowEngine 添加几个任务。 flowEngine 就继承自java 的线程池ScheduledThreadPoolExecutor。任务加进去之后,具体要做什么,可以从91行的 createTrigger 方法进去:

117行的注释,说明这个地方就是执行处理器任务的,跟进去,会发现它调用的是处理器 onTrigger 方法:

 二、总结

当在NIFI上启动一个处理器的时候,其实是执行处理器的 OnScheduled 方法,之后把 onTrigger 方法添加进了线程队列当中

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NiFi是一种基于数据流的可视化工具,可以用来构建数据流处理任务。其中,getfile和putfile是NiFi中常用的两个应用示例。 getfile应用是指通过NiFi获取文件并进行处理的过程。通常情况下,我们会设置getfile应用来定期从指定的文件夹或远程服务器上获取需要处理的文件。例如,我们可以配置getfile应用从一个FTP服务器上获取新上传的CSV文件。获取到文件后,NiFi可以对文件进行一系列的处理操作,如解析、过滤、转换等。最后,处理后的结果可以存储在本地文件系统、Hadoop分布式文件系统(HDFS)或其他存储介质中。 而putfile应用则是将经过NiFi处理的数据写入到文件系统或其他介质中的过程。在数据流处理任务中,putfile应用经常与getfile应用相结合,用于输出处理后的结果。当NiFi对数据进行处理后,我们可以使用putfile应用将结果写入到指定的文件夹或存储系统中。例如,我们可以将处理后的数据写入到本地文件系统或HDFS中,以便后续的分析和使用。 getfile和putfile应用的组合可以实现很多实际场景中的数据集成和处理任务。例如,我们可以使用getfile应用从多个不同位置获取数据文件,然后通过一系列的处理操作,如数据清洗、转换和合并,最后使用putfile应用将结果写入到统一的存储系统中。这样可以方便地实现数据的集成和统一管理,提高数据处理的效率和准确性。 总之,getfile和putfile是NiFi中的两个常用应用示例,它们可以配合使用实现数据的获取、处理和输出,帮助我们构建高效可靠的数据流处理任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值