1.Nifi介绍
- Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。
- 它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。
- NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目,目前已经代码开源,是Apache基金会的顶级项目之一
- NiFi基于Web方式工作,后台在服务器上进行调度。
- 用户可以为数据处理定义为一个流程,然后进行处理,后台具有数据处理引擎、任务调度等组件。
2.环境准备
jdk1.8,如无安装请翻阅博客
nifi-1.7.1-bin.tar.gz 下载地址:https://download.csdn.net/download/qq_41338249/12619126
cdh5.6(如无安装请翻阅前面博客)
3.安装nifi
- 解压安装包
tar -zxvf nifi-1.7.1-bin.tar.gz
- 修改配置文件
vim conf/bootstrap.conf
java.arg.2=-Xms2048m
java.arg.3=-Xmx2048m
4.替换相应的jar包
把 core-site.xml
hdfs-site.xml
hive-site.xml
mapred-site.xml
yarn-site.xml
放入config目录下
5.替换相关jar包(替换后的图)
在nifi根目录下输入命令
find . -name hadoop*
find . -name hive*
将显示的jar包版本替换成cdh版本(如下所示)