flink 性能压测

最新推荐文章于 2024-04-22 23:49:21 发布
最新推荐文章于 2024-04-22 23:49:21 发布
阅读量3.8k 收藏 1
点赞数
分类专栏： flink 文章标签： flink sql java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wppwpp1/article/details/117664594
版权

1、维表关联性能，最高吞吐，可以通过并行度和kafka的吞吐测出相关性能,如下图压测性能，200并发，tps正常在5w左右。

2、之前kafka吞吐最高能达到90MB/s的输入，所以压测要达到两倍的性能，也就是200mb

3、以下是同样的并行度，通过设置任务延迟，消费五个小时的数据, 来实现相关性能压测，200并发，最高吞吐tps能达到30w左右

4、kafka的压测性能如下，写入稳定在250mb左右，达到要求：

wppwpp1
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Flink Vs Storm性能测试
yuchuanchen的专栏
03-12 2299
吞吐和延时是实时流处理的两个重要指标，本次性能测试也围绕这两个指标进行。 测试环境 集群单个机器参数 测试集群共3个机器，每个机器配置如下： 参数项 参数值 CPU Intel® Xeon® CPU E5-2430 v2 @ 2.50GHz core 24 Memory 125G OS CentOS Linux release 7.2.1511 (Core) 网卡 ...
数据不撒谎，Flink-Kafka性能压测全记录！
微信搜：import_bigdata，大数据领域硬核原创作者
08-23 5765
本文作者来自本号的粉丝：林夕_Yume，作者微信：wxid_nvd5wwng4v2i22欢迎大家关注他的简书：https://www.jianshu.com/u/3fa2...
flink-cep-perf:测试带窗口pattern性能
04-30
#Pattern 性能测试 测试环境 flink 版本：1.4.2 cpu：Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz 内存：16G （分配给flink的） 测试背景 控制pattern的输出为1% 典型pattern测试 n分钟m次构造测试程序 Q：怎么控制pattern的输出为1%？ A：先确定pattern 的次数设置阈值是多少，然后，阈值 * 100 * 事件发送间隔时间（5s) 即为异常事件插入时间间隔。即，每发送100个事件后连续插入异常事件，插入异常事件个数大于设定的阈值。需要注意的是，设定事件次数的阈值 * 事件发送间隔时间需要小于等于窗口时间，否则pattern不会触发。 pattern代码 Pattern<JSONObject> pattern = Pattern.<JSONObject>begin("
【Flink 核心篇】Apache Flink 1.16 版本特性
书山有路，学海无涯。记录成长，追逐梦想
04-22 1317
Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 19 个 FLIP 和 1100 多个 issue，给社区带来非常多振奋人心的功能。
Flink压测和监控
kankan_s的专栏
09-05 588
根据特定需求，您还可以编写自定义监控脚本或使用第三方监控工具来监视 Flink 作业的各个方面。
Flink面试系列-02
baidu_36611723的博客
11-14 393
Flink源码中有一个独立的connector模块，所有的其他connector都依赖于此模块，Flink 在1.9版本发布的全新kafka连接器，摒弃了之前连接不同版本的kafka集群需要依赖不同版本的connector这种做法，只需要依赖一个connector即可。此外，Flink大量的使用了堆外内存。在一个Flink Job中，数据需要在不同的task中进行交换，整个数据交换是有TaskManager负责的，TaskManager的网络组件首先从缓冲buffer中收集records，然后再发送。
kafka压测
song_quan_的博客
02-22 1590
实时ETL流程测试 文档编号 版本号 V1.0 名称 实时ETL流程测试文档 总页数 正文 编写日期 审批 目录 1. 测试目的 本次测试主要对基于Flink的实时ETL系统各个环节跑通 测试各个组件功能可用性 测试数据一致性、实时性、完整性 2. 测试方法 采用python脚本模拟生成数据，通过Kafka作为消息队列，Flink完成实时抽取转换，输出数据到HDFS 测试过程主要分为以下3
超详细性能测试思维导图
03-10
一般来说，如果压测结果低于80%的预期性能，或者在生产环境中单CPU负载超过2，就需要进一步优化。APM（应用程序性能管理）工具如Sky Walking可以帮助追踪分布式系统的性能问题。 在不同类型的业务场景下，性能测试...
07_实时数仓_优化_V2.0.pdf
11-03
首先，资源配置调优是提升Flink性能的基础。在YARN上提交Flink作业时，需通过脚本指定各项资源参数。例如，`-p 5`用于指定并行度，`-Dyarn.application.queue=test`指定了YARN队列，`-Djobmanager.memory.process....
SpringCloud微服务架构-海量数据商用短链平台项目 视频教程 百度网盘链接3.zip
最新发布
06-20
│ 74.1-面试-短链平台后端接口扩容性能评估方案《上》.mp4 │ 74.2-面试-短链平台后端接口扩容性能评估方案《下》.mp4 │ 74.3-大厂面试必备技能-数据量预估方案.mp4 │ ├─75.跳槽季重点事项和新?职快速上?...
SpringCloud微服务架构-海量数据商用短链平台项目 视频教程 百度网盘链接2.zip
06-20
│ 74.1-面试-短链平台后端接口扩容性能评估方案《上》.mp4 │ 74.2-面试-短链平台后端接口扩容性能评估方案《下》.mp4 │ 74.3-大厂面试必备技能-数据量预估方案.mp4 │ ├─75.跳槽季重点事项和新?职快速上?...
SpringCloud微服务架构-海量数据商用短链平台项目 视频教程 百度网盘链接4.zip
06-20
│ 74.1-面试-短链平台后端接口扩容性能评估方案《上》.mp4 │ 74.2-面试-短链平台后端接口扩容性能评估方案《下》.mp4 │ 74.3-大厂面试必备技能-数据量预估方案.mp4 │ ├─75.跳槽季重点事项和新?职快速上?...
Flink背压原理以及解决优化
诸葛子房的博客
10-22 6288
由于进行双11压测，遇到了Flink的背压问题。 1.背压的监控 如果看到任务的背压警告（如 High 级别），这意味着生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告，这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。 许多情况都会导致背压。例如，G...
kafka-flink性能测试规划（下）
weixin_39545874的博客
07-30 645
4.3 broker测试    涉及的参数众多，诸如以下： default.replication.factor num.replica.fetchers auto.create.topics.enable min.insync.replicas unclean.leader.election.enable broker.rack log.flush.interval.messages log....
使用 Flink + Faker Connector 生成测试数据压测 MySQL
Laurence的技术博客
03-20 915
使用 Flink 压测 MySQL 是一个不错的注意，或者，有时候我们需要在 MySQL 中生成一些可控的测试数据，这时使用 Flink 的 Faker Connector 就是会很简单。本文记录一下操作方法。
基于Flink+ClickHouse构建亿级电商实时数据分析平台（PC
04-20
引用网络文章开启本课程的开篇： 在大数据分析领域中，传统的大数据分析需要不同框架和技术组合才能达到最终的效果，在人力成本，技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼，不得不被迫租赁第三方大型公司的数据分析服务。  ClickHouse开源的出现让许多想做大数据并且想做大数据分析的很多公司和企业耳目一新。ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域越走越远。  本课程采用全新的大数据技术栈：Flink+ClickHouse,让你体验到全新技术栈的强大，感受时代变化的气息，通过学习完本课程可以节省你摸索的时间，节省企业成本，提高企业开发效率。本课程不仅告诉你如何做项目，还会告诉你如何验证系统如何支撑亿级并发，如何部署项目等等。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助，如对我录制的教程内容有建议请及时交流。 课程概述：在这个数据爆发的时代,像大型电商的数据量达到百亿级别，我们往往无法对海量的明细数据做进一步层次的预聚合，大量的业务数据都是好几亿数据关联，并且我们需要聚合结果能在秒级返回。  那么我们该如何实现这一需求呢？基于Flink+ClickHouse构建电商亿级实时数据分析平台课程，将带领大家一步一步从无到有实现一个高性能的实时数据分析平台，该系统以热门的互联网电商实际业务应用场景为案例讲解，对电商数据的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：概况统计、全站流量分析、渠道分析、广告分析、订单分析、运营分析（团购、秒杀、指定活动）等，该系统指标分为分钟级和小时级多时间方位分析，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。 本课程凝聚讲师多年一线大数据企业实际项目经验，大数据企业在职架构师亲自授课，全程实操代码，带你体验真实的大数据开发过程，代码现场调试。通过本课程的学习再加上老师的答疑，你完全可以将本案例直接应用于企业。 本套课程可以满足世面上绝大多数大数据企业级的海量数据实时分析需求，全部代码在老师的指导下可以直接部署企业，支撑千亿级并发数据分析。项目代码也是具有极高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。  本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.9.0 ClickHouseHadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.0.0 Jmeter（验证如何支撑亿级并发）Docker （虚拟化部署）HDFS、MapReduce Zookeeper SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL Vue.js、Nodejs Highcharts Linux Shell编程  课程亮点： 1.与企业对接、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink新版本 4.Flink join 实战 5.Flink 自定义输出路径实战 6.全链路性能压力测试 7.虚拟化部署 8.集成指标明细查询 9.主流微服务后端系统 10.分钟级别与小时级别多时间方位分析 11.数据库实时同步解决方案 12.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 13.集成SpringCloud实现统一整合方案 14.互联网大数据企业热门技术栈 15.支持海量数据的实时分析 16.支持全端实时数据分析 17.全程代码实操，提供全部代码和资料 18.提供答疑和提供企业技术方案咨询 企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
Flink实时大数据处理性能测试
禅与计算机程序设计艺术
01-18 1146
1.背景介绍 Flink是一个开源的流处理框架，用于实时大数据处理。它可以处理大量数据，提供低延迟和高吞吐量。Flink的性能测试是一项重要的任务，可以帮助我们了解其在实际应用中的表现。在本文中，我们将讨论Flink实时大数据处理性能测试的背景、核心概念、算法原理、代码实例、未来发展趋势和挑战。 1.1 Flink的发展历程 Flink起源于2010年，由德国技术大学(TU Berlin)的...
kafka-flink性能测试规划（上）
weixin_39545874的博客
07-30 799
1.压测方案 1.1 压测目的    本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据不同量级的消息处理结果，评估Kafka的处理性能是否满足项目需求(该项目期望Kafka能够处理上亿级别的MQ消息)。 1.2 测试范围及方法 1.2.1 测试范围概述    测试使用Kafka自带的测试脚本，通过命令对Ka...
Flink处理大型离线任务稳定性与性能调优探索
360技术
04-10 1044
Apache Flink作为分布式处理引擎，用于对无界和有界数据流进行状态计算。其中实时任务用于处理无界数据流，离线任务用于处理有界数据。通过本文你将掌握让大型离线任务运行稳定的能力，同时能够通过分析离线任务运行特点，降低任务运行资源消耗，减少任务成本。下面我们进入正题：01—离线任务情况说明对于平台处理的离线任务，任务大都是处理：从HDFS到HIVE的数据清洗任务。这类任务的特点是数据来一条处理...
flink怎么做压测
07-28
对于 Flink 的压测，可以采取以下步骤： 1. 准备测试环境：确保测试环境具备足够的资源，包括计算资源、存储资源和网络带宽等。建议在一个独立的集群上进行压测，以避免对生产环境造成影响。 2. 设计测试场景：根据实际需求，设计合理的测试场景。可以考虑以下几个方面：数据量大小、并发度、数据流速度、任务复杂度等。 3. 编写测试程序：使用 Flink 提供的 API 或者编写 Flink 作业，用于模拟实际生产环境中的数据处理和计算任务。确保测试程序能够满足预期的业务需求。 4. 配置 Flink 集群：根据测试需求，合理配置 Flink 集群的资源分配，包括任务槽的数量、内存分配、并行度等。可以通过修改 flink-conf.yaml 文件或者使用命令行参数来配置。 5. 运行压测：将测试程序提交到 Flink 集群，并根据需要监控和记录各项指标，如任务执行时间、吞吐量、延迟等。可以使用 Flink 提供的 Web UI 或者相关监控工具进行监控。 6. 分析测试结果：根据测试结果，评估系统的性能瓶颈和稳定性，并进行优化。可以通过调整并行度、优化算法或者增加资源来提升系统性能。 需要注意的是，在进行压测时，应该避免对生产环境造成影响，并确保测试数据的合理性和安全性。另外，压测是一个持续迭代的过程，可以根据实际情况进行多次测试和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值