大数据之-Nifi-认识Nifi_Nifi的核心概念_Nifi核心架构_Nifi的性能_Nifi的关键特性---大数据之Nifi工作笔记0001

Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一个项目, 目前代码已经开源, 是 Apache基金会的顶级项目之一。

NiFi 是基于 Java 的, 使用 Maven 构建管理。NiFi 基于 Web 方式工作, 后台在服务器上进行调度。用户可以将数据处理定义为一个流程, 然后进行处理, NiFi 后台具有数据处理引擎, 任务调度等组件。

自企业拥有多个系统开始, 一些系统会有数据生成, 一些系统要消费数据, 而不同系统间的数据流通问题就出现了。简单的说, NiFi 就是为了解决不同系统间数据自动流通问题而建立的。

 

 用来管理不同系统之间的信息流的工具. ETL工具 kettle是数据的转换

比如kettle来说,如果需要做ETL的数据特别大量特别多,他就会支持不了数据的转换会有崩溃的现象

可以看到nifi解决的是dataflow的问题,解决的是数据流的问题