NiFi的性能期望和特性

NiFi的性能期望和特性NiFi旨在充分利用底层主机系统上的功能操作。这种资源的最大化在CPU和磁盘方面尤其明显。有关其他详细信息,请参阅管理指南中的最佳实践和配置技巧。

对输入输出IO

根据系统的配置方式,可以预期看到的吞吐量或延迟差异很大。由于大多数主要的NiFi子系统都有可插拔的方法,所以性能取决于实现。但是,对于一些具体且广泛适用的东西,请考虑开箱即用的默认实现。这些都是有保证的持久性交付,因此使用本地磁盘。因此,在保守的情况下,假设在一个典型服务器的普通磁盘或RAID卷上大约每秒50 MB的读写速度。对于大型数据流,NiFi应该能够有效地达到每秒100 MB或更高的吞吐量。这是因为每个添加到NiFi的物理分区和内容存储库都期望线性增长。这将在流文件存储库和起源存储库的某个地方遇到瓶颈。我们计划在构建中包含一个基准测试和性能测试模板,它允许用户轻松地测试他们的系统,并确定瓶颈在哪里,以及在什么时候瓶颈可能成为一个因素。这个模板还应该使系统管理员更容易进行更改并验证影响。

 

对于CPU

流控制器充当引擎,指示特定处理器何时被赋予一个要执行的线程。处理器被编写成在执行完任务后立即返回线程。可以给流控制器一个配置值,该值指示它维护的各种线程池的可用线程。要使用的理想线程数量取决于主机系统资源的核心数量、系统是否运行其他服务以及流中处理的性质。对于典型的IO-heavy流,合理的做法是让许多线程可用。

 

对于内存

NiFi存在于JVM中,因此受到JVM提供的内存空间的限制。JVM垃圾收集成为一个非常重要的因素,它不仅限制了实际的堆大小,而且优化了应用程序在一段时间内的运行情况。当定期阅读相同的内容时,NiFi作业可以是I/O密集型的。配置足够大的磁盘以优化性能。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值