![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nifi
文章平均质量分 74
青冬
想改变世界,却困于肉身。
展开
-
net.schmizz.sshj.DefaultConfig Illegal key size问题,NIFI部分版本因此无法正常启动
对于 NiFi 来说还有这样报错 apache.nifi.encrypt.EncryptionException: Failed to get Cipher for Algorithm [AES/GCM/NoPadding]实例:其实这个报错全网资料也比较多,但没有把根本原因说清楚,到底怎么解决说清楚。解决办法也其实特别的简单。net.schmizz.sshj.DefaultConfig Illegal key size原创 2022-09-28 11:30:42 · 724 阅读 · 0 评论 -
NiFi 1.16.3 生产使用的更新及BUG。
但是也引入了一个新的bug在cluster中,如果该node没有flow.json/xml的话,这个节点启动不会创建flow.json,并且在比较和cluster中的flow.json的时候会报java.lang.NullPointerException问题。所以要手动进行copy一个,或者单节点启动一次再加入集群。解决了很多高危漏洞,但没有解决apachecommonconfiguration,涉及了几个包,包含frameword包,又要重新打nar包,打依赖。...原创 2022-07-21 10:20:50 · 748 阅读 · 4 评论 -
NiFi 一键自动升级Nar包
NiFi进行统一nar包组件升级序auth : Hadisince : 2022-3-9 10:54:29NiFi界面上,每次更新了nar包后,总是会涉及到手动changeVersion的操作:但,如果这个nar包涉及到的组件实例过多,每次都一个一个的去点击,那实在是太麻烦了。所以身为程序员不能做这种机器化的工作,所以写了简单的模拟请求给直接供大家参考。由于代码在公司开发,这里仅仅发送第一个测试版本,但放心可靠!模拟请求这个版本仅使用http请求,且无认证的方式进行更改,如果需要包装,原创 2022-03-09 10:55:11 · 782 阅读 · 0 评论 -
NiFi 1.15.3↑ 集群HTTP搭建
NiFi 1.15.3↑ 集群HTTP搭建序NiFi活跃度不下各类大组件,迭代更新非常快。鄙人有幸体会从1.9.2版本到现在最新版1.15.3的迭代历程。从一开始的坑坑洼洼到现在的洼洼坑坑,各种折磨。为了骗大家入坑,我就简单说下1.13.X(不含)以上是怎么进行HTTP集群的搭建的吧。(生产环境不建议HTTP使用,有不安全因素,但为了学习,使用HTTPS进行搭建步骤非常麻烦。)这里只介绍HTTP集群与HTTPS集群之间的区别。1.13.2版本以前1.13.2版本作为最后一个非默认HTTPS版本,原创 2022-02-24 23:46:04 · 948 阅读 · 0 评论 -
NiFi SFTP BUG 以及1.15最近的修复
NiFi SFTP 1.15最近的修复序很久没更新关于NiFi相关的内容了,其实NiFi现在在 cloudera 社区的热度居高不下,大量的思想火花与bug被修复。这里就谈谈关于SFTP相关的一些修复工作。auth: HadiBug众所周知,NiFi作为一个可视化低代码的开发工具,在项目里面那是一个快捷。我司就使用来作为数据接入、预处理的工作,其中大头部分就是SFTP部分,但从1.9.2升级到1.13.2到1.15.2我们的感受变化是巨大的。1.13.2的bug有:凡是涉及 SFT原创 2022-02-15 11:28:54 · 1183 阅读 · 0 评论 -
nifi ListSFTP等代理设置
nifi ListSFTP等代理设置前言使用nifi进行大量采集的时候,处于对集群的保护一般都会只有接口机能与对方提供的数据源进行互通。这个时候使用nifi集群进行采集很可能nifi无法直接进行网络互通,需要使用到代理 来连接对方服务器采集数据。查看nifi采集配置如下图所示,nifi采集一共有三个代理设置,我推荐使用 Proxy Configuration Service进行配置(原因为可以设置校验的账号密码,其余不行。)nifi代理可选HTTP HTTPS 和socks5进行代理。soc原创 2020-12-21 17:03:05 · 963 阅读 · 6 评论 -
NiFi连接HDFS联邦(viewfs)操作
NiFi连接hdfs&联邦(viewfs)操作前言NiFi很多时候需要入库到hdfs或者从hdfs从hdfs进行出库,所以在NiFi中可以找到PutHDFS/ListHDFS等对HDFS进行相关操作的组件。这些都是不需要本地含有hdfs环境的,所以想要连接hdfs必须获取一些配置。(HDFS提供的restful接口或者一些其他接口可以快捷的获取到hdfs上的文件信息)非联邦的HDFS例如PutHDFS需要一个 Hadoop Configuration Resource 填写hdfs-si原创 2020-12-15 12:06:54 · 533 阅读 · 0 评论 -
NiFi集群搭建及必要的相关配置
NiFi集群搭建及必要的相关配置前言无论什么 请先搜官网,尝试官网的搭建方法doc地址: nifi doc源码github地址: github地址截止2020年12月14日21:45:20为止,nifi最新版本为1.21准备环境为外部zk3.5以上版本(虽然官网只是提了一句使用keyboard需要zk3.5以上,但是经过测试后发现,如果外部zk小于3.5,则各个节点会报无法创建和寻找节点的错误)需要环境java 1.8以上zk 3.5以上可能你需要hdfs/hive/core/等等相关的配原创 2020-12-14 23:34:17 · 2276 阅读 · 10 评论