Nifi Processor开发 03

个人的一点经验

Processor缓存

因为Processor执行的时候，并不能很好的支持多线程（1.4.0版及1.8.0版个人测试结果），所以，为了让单个的处理节点性能得到提升，我们需要尽可能的使用缓存，这里个人建议直接使用JVM，可以不依赖其他第三方的内容，但是如果缓存的东西较多的时候，JVM可能不是很合适，推荐Redis等内存数据库。对于第三方的缓存系统，需要关注部署是否简便或者原有环境是否集成，第二个就是信息存取速度，越快越好。对于小量的数据，需要在多次运行或者集群间共享的，使用Nifi的StateManager来存储。

组件功能性测试和流程测试

个人感觉组件功能性测试和流程测试分别在两个集群进行更加合适，特别是有多人协作的的时候，最好是代码共享，环境独立——每个人使用一个单独的单节点Nifi进行测试，因为Nifi代码更新涉及到重新打包提交，以及重启Nifi，所以如果多人使用同一个Nifi，不可避免的会对其他人造成影响，所以在开发测试阶段，尽可能的分别使用独立的Nifi集群。
常用的调测需要的命令有两个，一个是重启用到的restart，另一个是查询日志。以进入到Nifi目录下为例，两个命令分别为

sh ./bin/nifi.sh restart
tail -100f ./logs/nifi-app.log