- 博客(2)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 一文读懂yarn，mapreduce，spark，flink内存配置及优化
一、resourcemanager,nodemanager,namenode,datanode1、内存（1）java默认1）最大内存没有配置的话根据java默认最大内存1.java最大内存-Xmx 的默认值为你当前机器最大内存的 1/42.java最小内存-Xms 的默认值为你当前机器最大内存的 1/64)（2）hadoop_env 文件配置namenode和datanode(注意在namenode和datanode所在节点的配置文件)方式一:export HDFS_NA
2021-10-21 03:01:55
1362
原创 关于flink中sql的over window底层个人实现及分析
1、前言 在使用flink中sql的over window函数一直在想底层是如何实现的，查看资料并没有找到相关说明，去翻源码的话没那么多时间去研究，就按照自己思路简单测试了下实现过程，时间过短，语言没有进行整理，仅供初学者参考2、测试内容 分别对开窗函数中对行和事件时间进行分析底层实现，加强理解3、实现过程1、基于开始到当前行 OverWindow w = Over.partitionBy($("id")).orderBy($("ts...
2021-09-26 15:23:17
706
线程问题,如何实现奇偶数数量不同的输出问题
2021-05-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人