NiFi 基本概念

NiFi基本概念

一. NiFi是什么

Apache NiFi 是一个易于使用, 功能强大且可靠的系统, 用于处理和分发数据。可以自动化管理系统间的数据流。它使用高度可配置的指示图来管理数据路由, 转换和系统中介逻辑, 支持从多种数据源动态拉取数据。NiFi 原来是 NSA(美国国家安全局) 的一个项目, 目前代码已经开源, 是 Apache基金会的顶级项目之一。

NiFi 是基于 Java 的, 使用 Maven 构建管理。NiFi 基于 Web 方式工作, 后台在服务器上进行调度。用户可以将数据处理定义为一个流程, 然后进行处理, NiFi 后台具有数据处理引擎, 任务调度等组件。

自企业拥有多个系统开始, 一些系统会有数据生成, 一些系统要消费数据, 而不同系统间的数据流通问题就出现了。简单的说, NiFi 就是为了解决不同系统间数据自动流通问题而建立的。

数据流DataFlow要面临的一些挑战

• Systems fail
  系统调用失败, 网络故障, 磁盘故障, 软件崩溃, 人为事故等。
• Data access exceeds capacity to consum
  数据访问超出了消耗能力。有时给定的数据源可能会超过处理链或交付链的某些部分的处理能力, 而只要一个环节出现问题, 整个流程都会 受到影响。
• Boundary conditions are mere suggestions
  超出边界问题, 总是会得到太大, 太小, 太快, 太慢, 损坏, 错误或格式错误的数据。
• What is noise one day becomes signal the next
  现实业务或需求变更快, 设计新的数据处理流程或者修改已有的流程必须要迅速。
• Systems evolve at different rates
  给定的系统所使用的协议或数据格式可能随时改变, 而且常常跟周围其他系统无关。DataFlow 的存在就是为了连接这种大规模分布的, 松散的, 甚至根本不是设计用来一起工作的组件系统。
• Compliance and security
  法律, 法规和政策发生变化。企业对企业协议的变化。系统到系统和系统到用户的交互必须是安全的, 可信的, 负责的。
• Continuous improvement occurs in production
  通常不能在测试环境中完全模拟生产环境

多年来, 数据流一直是架构中不可避免的的问题之一。现在有许多活跃的, 快速发展的技术, 使得 DataFlow 对想要成功的企业更加重要。此外, 合规性, 隐私性和安全性所需的严格程度也在不断提高。NiFi 旨在帮助解决这些现代数据流挑战。

二. NiFi 核心概念

NiFi 的基本设计概念与基于流程的编程 FBP(Flow Bases Programing)