- 博客(5)
- 收藏
- 关注
RSS订阅转载 【转载】flink 在 flink standalone模式下元空间内存溢出排查及问题解决
结论：由于任务是跑在flink的standalone模式下，job在TaskManager中是运行在同一个jvm，并且用完后并不会像YARN per job 模式一样释放资源，集群的类加载模式选用childfirst类加载器，客户端每次重复提交jar包，就会不停的加载插件类class到元空间中，然后元空间就会不断上升，直到溢出。JVM特定内存是不在Flink的总内存范围内的，其中JVM Metaspace用来存储JVM加载类的元数据，如果加载的类越多，需要的内存空间越大。
2024-03-19 09:13:38
239
转载 redis持久化机制和服务器配置推荐
介绍Redis所有的数据都保存在内存中，数据的更新将异步的保存到硬盘上，当需要恢复数据时，从硬盘上将数据再读取到内存中，这就是Redis的持久化过程。主流的持久化方式有两种：快照：MySQL的Dump以及Redis的RDB等写日志：MySQL的Binlog，Hbase的HLong以及Redis的AOF等一、Redis的持久化机制Redis将所有的数据都存储在内存中，那么如果服务器重启了，Redis中的数据怎么恢复呢？为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中同步到硬盘中。Redis支持
2022-06-23 09:17:17
420
转载 kafka服务器硬件配置选择与优化
磁盘吞吐量（重要，影响生产者）磁盘容量（制约集群规模)生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 需要多大的磁盘容量取决于需要保留的消息数量，也需要考虑集群复制策略的影响。磁盘类型和容量规划1.磁盘类型HDD VS SSD机械磁盘（HDD） 一般机械磁盘寻道时间是毫秒级的，若有大量随机I/O，则将会出现指数级的延迟，但是kafka是顺序读写的，因此对于机械磁盘的性能也是不弱的，所以，基于成本问题可以考虑。固态硬盘（SSD） 读写速度可观，没有成本问题可以考虑。JBOD VS RAID1
2022-06-22 20:37:42
1795
转载 MapReduce作业Uber模式
MapReduce作业Uber模式大家在提交MapReduce作业的时候肯定看过如下的输出：17/04/17 14:00:38 INFO mapreduce.Job: Running job: job_1472052053889_000117/04/17 14:00:48 INFO mapreduce.Job: Job job_1472052053889_0001 running in uber mode : false17/04/17 14:00:48 INFO mapreduce.Job: map
2020-11-04 15:31:20
1123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人