Flink webui 断点续传

这篇文章是关于Flink webui 实现断点续传的一个小案例

废话不多说，上代码

：

案例旨在实现遇到单词bug时，抛出异常，在web上演示flink重启策略

=========================================================================

 可以看到我读取数据的方式是通过我linux的nc端口

打开nc的方式如下：

在这个linux端口上我也报出了很多错

其一，当我关掉端口，再次启动的时候，会出现端口已经创建的情况

为了数据的准确性，我希望其是新的端口，但是如果我在上述代码修改端口号的话，会浪费很多时间（当然你不嫌麻烦也可以，打开创建好的端口命令是：nc -lp -9999），所以我开始找寻删掉端口的方法，如下

首先你需要输入这个命令 ：yum install net-tools -y （记住要在root目录下面）

安装完毕后，输入netstat -nap | grep 9999 找到进程

然后用 ：kill 9999 或者kill -9 9999 接着重新输入nc -lk 9999，完成！

=========================================================================

 

 Apache Flink Dashboard 

打开方式是：打开你的虚拟机yarn服务，然后是你的虚拟机名称+8081

例如我的

然后 我们要进行上传jar包了

其方法（在Maven工程里）：

找到这个页面

然后找到自己的项目位置，如果出现两个jar包，就像这个一样，选大的，准没错

=========================================================================

如果上传不进去可能是你集成Hadoop出现了问题：

https://www.cnblogs.com/lshan/p/16469294.html

需要你在你的虚拟机上的环境配置上修改

在命令行输入：sudo vim /etc/profile

找到环境配置添加：export HADOOP_CLASSPATH=`hadoop classpath`

最后 ：source vim /etc/profile 重启一下

接着添加jar包

=================================================================

记得需要先打开端口，在进行上传任务

在nc端口输入后，就可以在这页面就可以看到运行的效果

然后我们结束这个项目，通过checkpoint保存的最后的快照点，实现故障恢复。

进入Hadoop101：9870，找到我们保存检查点的位置，复制路径

在Savepoint Path 粘贴上去

在nc端口输入，重启策略生效。

断点续传就完成了！

但是这个小案例是通过启用外部检查点，通过checkpoint模拟了手动关闭，

取消任务的时候保留最后一次快照，以这个作为恢复点。

附：checkpoint是应对突发情况的断点。

感谢各位读者的阅读，如有不对的地方，请帮我指出！