Apache NiFi 安装和使用

目录

0.NiFi架构

1.背景与起源

2.主要功能与特点

3.快速开始

3.1安装与配置

 4.创建第一个demo（mysql-to-file）

 4.1创建读取mysql处理器

4.2 将mysql中读取到的数据转化为json

 4.3 输出到文件

 4.4 连接处理器

4.5 启动处理器

​编辑5.官网&参考

---

0.NiFi架构

1.背景与起源

• Apache NiFi最初是由美国国家安全局（NSA）开发并使用了8年的可视化数据集成产品。

• 2014年，NSA将NiFi贡献给了Apache社区。

• 2015年，NiFi成为Apache的顶级项目。

2.主要功能与特点

• 数据处理与分发：NiFi是一个统一的、与数据源无关的大数据集成平台，能够自动化管理系统间的数据流。

• 可视化编程：基于Web图形界面，用户可以通过拖拽、连接、配置等操作完成基于流程的编程，实现数据采集、处理等功能。

• 高度可配置：支持高度可配置的指示图，用于指示数据路由、转换和系统中流转关系。

• 多数据源支持：能够从多种数据源动态拉取数据。

• 网络安全与自动化：NiFi自动化了网络安全、可观察性、事件流和生成式AI数据管道和分发。

3.快速开始

3.1安装与配置

• 官网下载zip包：Apache Download Mirrors

• 解压后配置nifi.properties文件，主要修改host和port

• 启动nifi

bin/nifi.sh start #启动命令
bin/nifi.sh stop #停止命令

• 登录nifi

• 登录之后的界面

 4.创建第一个demo（mysql-to-file）

示例简述：将mysql中的user表中的数据导出file

 4.1创建读取mysql处理器

注：处理器的类别及介绍官网中有详细介绍，在使用前务必看清楚：Documentation for Version 2 - Apache NiFi

配置完之后点击这里，启用连接

4.2 将mysql中读取到的数据转化为json

点击工具栏处的Processor，拖拽到工作区，搜索处理器ConvertAvroToJSON，因为在第一步中，我们通过sql查询到的数据为Avro格式，所以在这里需要转化为json在进行输出

 4.3 输出到文件

点击工具栏处的Processor，拖拽到工作区，搜索处理器PutFile

 4.4 连接处理器

4.5 启动处理器

选择操作台的启动按键

启动后的处理器

查看mysql的源数据，我们的搜索sql为 select age from user;

查看输出的文件

5.官网&参考

1. 官网：https://nifi.apache.org

2. 中文文档：https://nifichina.github.io