Flink Vs Storm性能测试

最新推荐文章于 2024-04-22 23:49:21 发布
最新推荐文章于 2024-04-22 23:49:21 发布
阅读量2.3k 收藏 10
点赞数
分类专栏： flink storm 文章标签： flink 性能测试 storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuchuanchen/article/details/88422847
版权
本文通过测试对比了Flink和Storm在实时流处理中的吞吐和延时性能。测试结果显示，Flink的吞吐能力是Storm的3倍多，平均延时保持在50ms左右，表现出色。这得益于Flink的Operator Chain技术减少了数据处理耗时和网络开销。
摘要由CSDN通过智能技术生成

吞吐和延时是实时流处理的两个重要指标，本次性能测试也围绕这两个指标进行。

测试环境

集群单个机器参数

测试集群共3个机器，每个机器配置如下：

参数项 参数值
CPU Intel® Xeon® CPU E5-2430 v2 @ 2.50GHz
core 24
Memory 125G
OS CentOS Linux release 7.2.1511 (Core)
网卡 千兆网卡

框架参数

参数项 Storm配置 Flink配置
Version storm-0.10.0 Flink-1.4.0
Master Memory 2048M 2048M
最低0.47元/天 解锁文章
yuchuanchen
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
探索性能边界：Flink-Benchmarks —— Flink 性能测试的利器
gitblog_00061的博客
06-11 296
探索性能边界：Flink-Benchmarks —— Flink 性能测试的利器 项目地址:https://gitcode.com/apachearrow-nanoarrow/flink-benchmarks Apache Flink 是一个强大的流处理框架，而 flink-benchmarks 是专为 Flink 开发者设计的一套微基准测试集合，旨在帮助评估代码变更对性能的影响。该项目采用 Ja...
flink 性能压测
wppwpp1的专栏
06-07 3839
1、维表关联性能，最高吞吐，可以通过并行度和kafka的吞吐测出相关性能,如下图压测性能，200并发，tps正常在5w左右。 2、之前kafka吞吐最高能达到90MB/s的输入，所以压测要达到两倍的性能，也就是200mb 3、以下是同样的并行度，通过设置任务延迟，消费五个小时的数据, 来实现相关性能压测，200并发，最高吞吐tps能达到30w左右 4、kafka的压测性能如下，写入稳定在250mb左右，达到要求： ...
【Flink 核心篇】Apache Flink 1.16 版本特性
最新发布
书山有路，学海无涯。记录成长，追逐梦想
04-22 1335
Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 19 个 FLIP 和 1100 多个 issue，给社区带来非常多振奋人心的功能。
官宣｜Apache Flink 1.16 发布公告
Ververica的博客
11-02 2304
Flink 社区正一步一步推动 Streaming warehouse 从概念变为现实并走向成熟。
基于Flink的实时数据消费应用、功能质量保障方法
热门推荐
李文良的博客
08-24 3万+
前言：由于最近公司的实时数据处理引擎再向Flink迁移，所以专门设计、总结了一篇“基于Flink的实时数据消费应用、功能质量保障方法”。欢迎大家一起分享探讨在大数据方面的测试方法和经验。 一、什么是Flink？ Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。 二、为什么在
性能测试报告指标
AinUser的博客
10-22 210
# CPU 查看CPU信息（型号） [root@master ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 32 Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz # 查看物理CPU个数 [root@master ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 2 # 查看每个物理CPU中core的个数(即核数) .
flink性能测试 （工业领域三维空间数据的重要性）
u012447842的博客
05-14 3012
flink性能测试 集群测试： 3台服务器 4核 16G 逻辑： 从emqtt消息队列获取数据---》 数据处理 --》 写入 redis， 写入opentsdb 测试1个半小时， 大概1秒11万的并发量。 3台服务器 8核 20G 逻辑： 如上 测试一个半小时， 大概1秒20万的并发量。 百度截图： 场景： 采集工厂的数控机床、金属加工、汽车制造、机械设备等...
kafka、storm、flink、apex、spark五种流式大数据系统调研报告
06-21
报告详细记录了Producer Only和Producer & Consumer的性能测试结果，涵盖了吞吐量、延迟等多个指标。 **二、Storm、Flink、Apex、Spark Streaming** 对于其他流式大数据系统，如Apache Storm、Apache Flink、...
flink-1.2.1安装包
06-09
与Spark和Storm相比，Flink提供了一种更为高效、低延迟的数据处理能力，尤其在实时流处理方面表现出色。Flink-1.2.1是该系统的一个版本，包含了丰富的功能和改进，下面将详细介绍Flink及其1.2.1版本的关键知识点。 ...
Stream Processing with Apache Flink
05-08
2. **与Apache Storm对比**：Flink提供更高级的容错机制和更丰富的API，而Storm则强调简单和实时性。 **七、实战应用** 1. **实时日志分析**：Flink可以实时处理应用程序的日志数据，进行异常检测和行为分析。 2. ...
Flink 在今日头条的实践_张光辉@今日头条.pdf
08-24
在本文中，我们探讨了...Flink的高阶API、窗口机制、checkpoint功能以及与Storm作业的兼容性，使其成为大规模实时数据处理的理想选择。同时，定制化的管理和迁移工具也极大地简化了运维工作，推动了业务的持续发展。
java8stream源码-Flink:测量Flink的性能并定制Yarn
06-04
java8流源码Apache Flink Apache Flink 是一个开源的流处理框架，具有强大的流处理和批处理能力。 了解更多关于 Flink 的信息 特征 支持批处理和数据流程序的流优先运行时 Java 和 Scala 中优雅流畅的 API 同时支持非常高的吞吐量和低事件延迟的运行时 基于Dataflow 模型，支持 DataStream API 中的事件时间和乱序处理 跨不同时间语义（事件时间、处理时间）的灵活窗口（时间、计数、会话、自定义触发器） 具有完全一次处理保证的容错 流媒体程序中的自然背压 图处理（批处理）、机器学习（批处理）和复杂事件处理（流）库 数据集（批处理）API 中对迭代程序 (BSP) 的内置支持 自定义内存管理，可在内存和核外数据处理算法之间进行高效、稳健的切换 Apache Hadoop MapReduce 和 Apache Storm 的兼容层 与 YARN、HDFS、HBase 和 Apache Hadoop 生态系统的其他组件集成 流媒体示例 case class WordWithCount ( word : String , count :
Flink，Storm，Spark Streaming三种流框架的对比分析
06-24
Flink，Storm，Spark Streaming三种流框架的对比分析。比较清晰明确
storm、kafka、flume性能测试
08-16
storm、kafka、flume性能测试相关收集
追源索骥：透过源码看懂Flink核心框架的执行流程1
08-03
5.1 Flink通过分布式快照（checkpoint）实现容错，对比Storm和Spark Streaming的容错机制。 5.2 Checkpoint的生命周期涉及触发、任务状态保存和barrier同步。 5.3 State和StateBackend用于存储和管理任务状态，确保...
Flink流处理性能指标
禅与计算机程序设计艺术
01-18 1084
1.背景介绍 Flink是一个流处理框架，用于实现大规模数据流处理和实时数据分析。流处理性能是Flink的核心特性之一，对于实时应用来说，流处理性能是至关重要的。在本文中，我们将深入探讨Flink流处理性能指标，揭示其核心概念、算法原理和实际应用。 1.1 Flink流处理性能指标的重要性 Flink流处理性能指标是衡量Flink流处理系统性能的重要标准。在实时应用中，流处理性能指标可以帮助...
45、Flink 的指标体系介绍及验证（1）-指标类型及指标实现示例
alanchanchn的专栏
11-24 3万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
详解 Flink 指标、监控与告警
Ververica的博客
07-08 9355
整理：李培殿 & 杨伟海（Flink 社区志愿者）校对：杨伟海（Flink 社区志愿者）摘要：本文由美团点评研发工程师孙梦瑶分享，主要介绍 Flink 的指标监控和报警的内容，...
流计算框架 Flink 与 Storm 的性能对比
huangshulang1234的博客
12-20 2万+
流计算框架 Flink 与 Storm 的性能对比 1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试：https://tech.meituan.com/test-of-

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值