NIFI
天堂夜雨
工作了4、5个年头,才想起来写博客的猿
展开
-
Nifi自定义Processor开发准备工作
简单整理一下有关Nifi自定义Processor的准备工作。由于Nifi对于开发Processor有自己的一套框架,所以在开发自定义Processor上大致有两条路可以走在原有的基础上进行扩充,这样的方法优点很明显:容易搭建环境;在现有的基础上进行修改,不容易出现依赖问题。缺点也同样明显,首先就是没办法自由的修改项目名称等,因为有已经存在的组件,贸然修改可能会造成更大的问题;依赖冲突,因...原创 2019-04-10 10:55:10 · 1216 阅读 · 0 评论 -
Nifi Processor开发 01
概览案例源码类属性方法onTrigger详解参数获取、解析方式1.获取PropertyDescriptor的输入参数2.获取FlowFile中的Attribute开发常见问题,及解决方法1.flowfile没有转发或者已经转发错误2.关于远程调测以简单的向处理的数据中添加常量为例,简单介绍一下Nifi自定义processor开发的过程案例源码//不需要关注上下文@SideEffectFre...原创 2019-04-08 15:51:14 · 680 阅读 · 3 评论 -
Nifi Processor开发 02
简单记录一下关于Nifi中,组件属性的定义部分样例代码如下:private static final PropertyDescriptor CATALOG_NAME = new PropertyDescriptor.Builder() .name("catalog").displayName("Catalog Name") .descriptio...原创 2019-04-09 11:38:21 · 390 阅读 · 0 评论 -
Nifi Processor开发 03
个人的一点经验Processor缓存因为Processor执行的时候,并不能很好的支持多线程(1.4.0版及1.8.0版个人测试结果),所以,为了让单个的处理节点性能得到提升,我们需要尽可能的使用缓存,这里个人建议直接使用JVM,可以不依赖其他第三方的内容,但是如果缓存的东西较多的时候,JVM可能不是很合适,推荐Redis等内存数据库。对于第三方的缓存系统,需要关注部署是否简便或者原有环境是否...原创 2019-04-22 15:42:35 · 297 阅读 · 0 评论