- 博客(2)
- 问答 (2)
- 收藏
- 关注
原创 Flink 检查点算法 流程
1、现在是一个有两个输入流的应用程序,用并行的两个Source任务读取2、JobManager会向每个Source任务发送一条带有新检查点ID的消息,用这样的方式启动检查点。3、数据源将它们的状态存入检查点,并发出一个检查点barrier。4、状态后端在状态存入检查点之后,会返回通知给Source任务,Source任务就会向JobManager确认检查点完成。5、分界线对齐:barrier 向下游传递,sum 任务会等待所有输入分区的 barrier 到达。 对于 barrier 已经到达的分区,
2023-11-23 18:03:38
430
原创 hadoop运行环境搭建
1.1模板虚拟机环境准备 1)准备一台模板虚拟机bigdata(这是虚拟机名字,自己随便起),虚拟机配置要求如下: 注:本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装hadoop做准备 [root@bigdata~]# yum install -y epel-release [root@bigdata~]# yum install -y psmisc nc net-tools rsy...
2022-04-18 18:42:02
230
空空如也
yarn跑完任务后想要看history和job,但是点不进去
2022-04-19
nginx设置按照路径访问
2022-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人