面试
文章平均质量分 92
青冬
想改变世界,却困于肉身。
展开
-
Flink 第2章 状态及Checkpoint调优
RocksDB大状态调优RocksDB是基于LSM Tree实现的,写数据都是先写入到内存中,所有RocksDB的写请求效率较高。RocksDB使用内存结合磁盘的方式来存储数据,每次获取数据时,先从内存中的blockcache中查找,如果没有再去磁盘中查询。使用RocksDB时,状态大小仅受可用磁盘空间量的限制,性能瓶颈主要在于RocksDB对磁盘的读请求,每次读写操作都必须对数据进行序列化或者反序列化。当处理性能不够的时候,需要横向扩展并行度提高整个Job的吞吐量。开启..原创 2022-03-18 17:56:31 · 2587 阅读 · 0 评论 -
Flink 第1章 Flink资源与内存模型占用空间计算方式。
Flink 第1章 Flink资源与内存模型资源配置调优开发了一些程序,那么怎么评估这些程序所需要的资源配比这些呢?比如使用标准的Flink任务提交脚本 Generic CLI模式(通用客户端模型)从1.11开始,增加了通用的客户端模型 使用-D指定kv变量(这里演示以1.13.2为准)。bin/flink run \ -t yarn-per-job \ -d \-p 5\ # 执行并行度-Dyarn.application.queue=test \ # 指定yarn队列-Djob原创 2022-03-18 17:41:33 · 3978 阅读 · 0 评论 -
Flink 面试跳槽指南(1)——带领你疏通航道
Flink 面试跳槽指南(1)序作者:Hadi时间:2022年2月7日参考各种blog和官方文档,纯手打,如果差错请评论区见,或者提交到CSDN用户:https://blog.csdn.net/qq_36610426如需转载,也请联系作者。文章地址:https://blog.csdn.net/qq_36610426/article/details/122821112Flink 基础Flink 介绍Flink是一个面向分布式数据流处理 和 批处理数据的开源计算引擎。用于对无界和有界的原创 2022-02-08 11:51:58 · 1463 阅读 · 0 评论