nifi
文章平均质量分 81
小南瓜瓜
这个作者很懒,什么都没留下…
展开
-
NIFI概览
Apache NiFi是一个易用、强大、可靠的数据处理与分发系统。 它支持数据路由,转换等。 NiFi提供web界面,用于设计,控制,反馈和监视数据流。 它有很强的可配置性,如容错与保证交付,低延迟与高吞吐量以及基于优先级的队列。 NiFi为接收到的所有数据提供细粒度的,fork,join,修改,发送,并在达到配置的最终状态时丢弃。简单的说,nifi就是为了自动化系统之间的数据流而建立的。数据流这里原创 2017-12-14 16:48:36 · 1622 阅读 · 0 评论 -
NIFI 系统属性 System Properties之Cluster Properties
集群通用属性设置NiFi集群时,应在所有节点上以相同的方式配置这些属性。 Property Description nifi.cluster.protocol.heartbeat.interval 节点应该向集群协调器发出心跳的时间间隔。 默认值是5秒。 nifi.cluster.protocol.is.secure 这表示集群通信是否需要安全严证。 默认值是false。集群原创 2017-12-18 14:56:17 · 407 阅读 · 0 评论 -
NIFI 系统属性 System Properties之Provenance Repository来源库
来源库 Provenance Repository来源库包含有关数据来源的信息。 接下来的四个部分是Provenance Repository属性。 nifi.provenance.repository.implementation Provenance Repository实现。缺省值是org.apache.nifi.provenance.PersistentProvenanceReposit原创 2017-12-18 14:47:43 · 869 阅读 · 0 评论 -
NIFI 系统属性 System Properties之Web Properties
Property Description nifi.web.war.directory web war包的目录. The default value is ./lib. nifi.web.http.host web 主机名称。默认空 nifi.web.http.port web端口 8080. nifi.web.http.port.forwarding 将传入的HT原创 2017-12-18 14:51:23 · 652 阅读 · 0 评论 -
NIFI 系统属性 System Properties之FlowFile存储库和内容库
FlowFile存储库FlowFile存储库会跟踪系统中每个FlowFile的属性和当前状态。 默认情况下,该存储库与其他所有存储库安装在同一根安装目录中; 但是,如果可能的话,建议在单独的驱动器上进行配置。 Property Description nifi.flowfile.repository.implementation FlowFile 存储库实现。 缺省值是org.apac原创 2017-12-18 14:45:09 · 2875 阅读 · 0 评论 -
NIFI 系统属性 System Properties之Core Properties
Core Propertiesnifi.properties文件的第一部分是核心属性。 这些属性作为一个整体适用于核心框架。 Property Description nifi.flow.configuration.file* 流程配置文件的位置(即包含当前显示在NiFi图表上的内容的文件)。 默认值是./conf/flow.xml.gz。 nifi.flow.configurat原创 2017-12-18 14:43:30 · 1009 阅读 · 0 评论 -
NIFI配置 Bootstrap Properties & Notification Services
Bootstrap Propertiesconf目录下的bootstrap.conf文件允许用户配置NiFi应该如何启动的设置。 这包括参数,例如Java堆的大小,运行的Java命令以及Java系统属性。只有在NiFi停止并重新启动之后,对此文件的任何更改才会生效。 Property Description java 指定要运行的完全限定的java命令。 默认情况下,它只是java,但原创 2017-12-18 14:42:13 · 1166 阅读 · 0 评论 -
NIFI 集群状态管理State Management
状态管理NiFi为Processors, Reporting Tasks, Controller Services以及框架本身提供了一种持久化状态的机制。 这允许一个处理器,例如,在NiFi重新启动之后,从它离开的地方恢复。 此外,它允许处理器存储一些信息,以便处理器可以从集群中的所有不同节点访问该信息。 这允许一个节点获取另一个节点离开的位置,或者在集群中的所有节点之间进行协调。Configuri原创 2017-12-14 17:08:17 · 1180 阅读 · 0 评论 -
NIFI 集群配置 Clustering Configuration
NiFi采用了Zero-Master聚类模式。集群中的每个节点都对数据执行相同的任务,但是每个节点都使用不同的数据集。其中一个节点会自动选择(通过Apache ZooKeeper)作为集群协调器。然后集群中的所有节点将向此节点发送心跳/状态信息,并且此节点负责断开一段时间内没有心跳的节点。另外,当新节点选择加入集群时,新节点必须首先连接到当前选择的集群协调器,以获得最新的流。如果集群协调器确定允许节原创 2017-12-14 16:59:52 · 3646 阅读 · 1 评论 -
NIFI术语
DataFlow Manager DataFlow Manager(DFM)是一个NiFi用户,具有添加,移除和修改NiFi数据流组件的权限。FlowFile FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成:FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有Flo原创 2017-12-14 16:52:25 · 1840 阅读 · 0 评论 -
NIFI 系统属性 System Properties之ZooKeeper Properties
ZooKeeper属性NiFi依靠Apache ZooKeeper来确定集群中的哪个节点应该扮演主节点的角色,哪个节点扮演集群协调器的角色。 必须配置这些属性才能使NiFi加入群集。 Property Description nifi.zookeeper.connect.string 连接到Apache ZooKeeper所需的连接字符串。 这是一个逗号分隔的hostname:port原创 2017-12-18 14:56:40 · 734 阅读 · 0 评论