![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
apache
青冬
想改变世界,却困于肉身。
展开
-
nifi ListSFTP等代理设置
nifi ListSFTP等代理设置前言使用nifi进行大量采集的时候,处于对集群的保护一般都会只有接口机能与对方提供的数据源进行互通。这个时候使用nifi集群进行采集很可能nifi无法直接进行网络互通,需要使用到代理 来连接对方服务器采集数据。查看nifi采集配置如下图所示,nifi采集一共有三个代理设置,我推荐使用 Proxy Configuration Service进行配置(原因为可以设置校验的账号密码,其余不行。)nifi代理可选HTTP HTTPS 和socks5进行代理。soc原创 2020-12-21 17:03:05 · 939 阅读 · 6 评论 -
NiFi连接HDFS联邦(viewfs)操作
NiFi连接hdfs&联邦(viewfs)操作前言NiFi很多时候需要入库到hdfs或者从hdfs从hdfs进行出库,所以在NiFi中可以找到PutHDFS/ListHDFS等对HDFS进行相关操作的组件。这些都是不需要本地含有hdfs环境的,所以想要连接hdfs必须获取一些配置。(HDFS提供的restful接口或者一些其他接口可以快捷的获取到hdfs上的文件信息)非联邦的HDFS例如PutHDFS需要一个 Hadoop Configuration Resource 填写hdfs-si原创 2020-12-15 12:06:54 · 529 阅读 · 0 评论 -
NiFi集群搭建及必要的相关配置
NiFi集群搭建及必要的相关配置前言无论什么 请先搜官网,尝试官网的搭建方法doc地址: nifi doc源码github地址: github地址截止2020年12月14日21:45:20为止,nifi最新版本为1.21准备环境为外部zk3.5以上版本(虽然官网只是提了一句使用keyboard需要zk3.5以上,但是经过测试后发现,如果外部zk小于3.5,则各个节点会报无法创建和寻找节点的错误)需要环境java 1.8以上zk 3.5以上可能你需要hdfs/hive/core/等等相关的配原创 2020-12-14 23:34:17 · 2189 阅读 · 10 评论