- 博客(3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 flink检查点算法的总结（粗略）
1.Barrier对齐： 一个task 收到 所有上游的 同一个编号的Barrier之后，才会对自己的状态做 备份。2.非Barrier对齐：一个task 收到 第一个Barrier时，就开始执行 备份，能保证精准一次。至少一次：在对齐过程中Barrier后面的数据不阻塞直接越过Barrier进行计算。未到的Barrier，其前面的数据接着计算输出，同时 也保存到 备份中。先到的Barrier，将本地状态 备份，其后面的数据接着计算输出。最后一个Barrier到达该task时，这个task的备份结束。
2023-11-16 19:54:12
146
原创 hbase的安装
因为HBase集群需要读取hadoop的core-site.xml、hdfs-site.xml的配置文件信息，所以我们三台机器都要执行以下命令，在相应的目录创建这两个配置文件的软连接。hbase-site.xml:在这个文件中可以添加 HBase 的相关配置，如分布式的模式、ZooKeeper 的配置等。-- 在分布式的情况下一定要设置，不然容易出现Hmaster起不来的情况 -->-- 设置hbase集群处于分布式模式 -->-- 指定hbase的存储目录 -->--指定hbase管理页面-->
2023-11-16 14:21:30
113
原创 linux软连接的使用
这样我们就对/opt/module/hadoop/etc/core-site.xml创建了软连接，就是目标文件下也有一份core-site.xml文件。当我们想在不同路径下使用同一个文件时，我们不需要将文件物理拷贝过去，只需要给那个文件创建一个软连接，这样我们就可以节省磁盘的空间。软连接类似于windows中的快捷方式，就是通过这个软连接可以访问到原目标文件的信息，也可以这么说，就是将文件共享。linux的软连接的作用是在某一个文件在另一个文件的位置建立一个同步的链接。用法 ln -s 源文件 目标文件。
2023-11-16 11:33:33
100
空空如也
Java有点小迷茫，不知道怎么提升
2022-05-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人