(翻译)迎接nifi2.0

1、原文地址

https://medium.com/cloudera-inc/getting-ready-for-apache-nifi-2-0-5a5e6a67f450

翻译博客:

即将发布的Apache NiFi 2.0版本带来了许多新功能,我个人对此非常期待。主要新功能包括:

  • 使Python成为NiFi中的一等公民,这将使Python爱好者能够轻松快捷地在NiFi中构建组件。此功能将进一步拉近数据工程师和数据科学家的距离,并大大扩展NiFi能够覆盖的用例范围。
  • 允许在Process Group级别运行NiFi Stateless。NiFi Stateless已经存在了一段时间,但直到NiFi 2.0,用户才能在Process Group级别启用它。这为关键用例(如CDC)提供了机会,在这些用例中,流程应被视为事务。
  • 规则引擎用于向流程设计者提供有关最佳实践的反馈,并为组件配置提供建议等。

然而,这次NiFi的重大版本更新也带来了破坏性变化,您可以从现在开始采取行动,以便在升级到NiFi 2.0时处于最佳状态。以下列表并不详尽,但可以作为一个良好的起点。您可以通过这里了解更多有关NiFi 2.0目标的信息。

请注意,社区计划开发一些工具来尽可能自动化这些操作,但最好还是自行检查并采取行动。尽管会有工具来帮助,仍然可能存在一些我们无法覆盖/预见的极端情况。

Java 21

NiFi 2.0将仅支持Java 21,因此在升级之前,您需要确保在NiFi节点上安装了Java 21。请注意,您已经可以在NiFi的最新1.x版本中使用Java 21。

模板

模板的概念将被取消。XML模板在NiFi中的内存以及持久化的流程定义(flow.xml.gz和flow.json.gz文件)中存储,并且在一些拥有数十或数百个大型模板(具有成千上万个组件)的NiFi用户中造成了很多问题。删除这些内容将为NiFi带来更多的稳定性,并改善内存使用情况。

如果您有模板,建议将这些模板导出为JSON定义或将其版本化到NiFi Registry实例中。最佳实践是将NiFi Registry与NiFi结合使用,以实现版本控制并共享/重用流程定义。

变量

变量和变量注册表将被取消。它们带来了许多限制,例如在属性中引用变量时需要表达式语言支持,并且无法存储敏感值。参数上下文已经存在了一段时间,并在过去几年中得到了改进。例如,我们最近添加了参数上下文提供程序的概念,以便从外部存储(如HashiCorp Vaults或云提供商等)中获取参数值。

确保花时间从变量迁移到参数。这很可能是影响最大的变化,需要对流程进行一些重构。这也是一个思考正确方法的好机会,以及如何将参数拆分为多个参数上下文,并在希望跨多个用例共享相同参数时使用上下文之间的继承。

事件驱动调度策略

事件驱动调度策略曾是某些处理器上的一个选项。这是NiFi中的一个实验性功能,并未证明能够带来显著的性能提升。此功能将在NiFi 2.0中取消。

如果您的组件配置为使用此调度策略(可以在NiFi的搜索栏中输入“event”找到这些组件),请将这些组件更新为使用“Timer Driven”调度策略。

被移除的组件

我们将利用NiFi 2.0的机会,移除许多已弃用的组件,并提供更好的替代方案。可以在这里找到详尽的列表,社区也提供了迁移步骤。如果您的流程使用了一些这些处理器,建议开始使用替代方案,以使升级顺利进行。否则,这些组件在升级到新版本的NiFi时将变成“幽灵组件”。

注意:如果您运行的是NiFi的最新版本,已添加了一个专门的日志文件:nifi-deprecation.log。它是一个查看运行时使用的目标移除功能的好地方。更多详细信息可以在这里找到。

自定义组件

如果您构建了自定义组件,您可能需要更新组件中的依赖项,以引用NiFi 2.0 API,并使用较新的版本重新构建组件,以确保它们在升级后正常工作。NiFi的CLI工具包中添加了一个命令,用于递归地将所有组件实例的版本更改为较新的版本。

结论

NiFi 2.0带来了许多令人兴奋的新功能,您不想错过任何一个。准备好并开始计划在NiFi 2.0发布时进行升级。我希望这个概述对您有所帮助,您可以随时通过邮件列表或Slack与NiFi社区联系!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值