文章目录
NameNode检查点异常
安装flink之前,观察到一个NameNode检查点异常:
没去找官方解释,按照此文的第4点解决了问题:
namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致,对比/dfs/nn/current/VERSION 和/dfs/snn/current/VERSION中的Cluster ID 来确认,如果不一致改成一致后重启应该可以解决
- 备份/dfs/snn/current/VERSION
- 修改/dfs/snn/current/VERSION中的Cluster ID与/dfs/nn/current/VERSION中的一致
- 重启namenode
- 删除备份
但是随后发现,该方式治标不治本。
还有一个节点今天发现了Input/output error错误,linux-like相关erros解决中的第二个问题,暂时没有解决,也没有去机房重启(估计重启后问题更多)。
希望有经验的前辈可以指点一二。
Flink1.6.1安装
要求: Java 8.x
【补充:运行Flink程序,使用Flink的话,Hadoop并不是必须的,hadoop版本需要低于等于2.8】
【我这是jdk1.8.0_131+hadoop2.6.0+cdh5.13.2+2687,所以我下载的是】
linux上安装:
- 从下载页面下载二进制文件。
如果您计划将Apache Flink与Apache Hadoop一起使用(在YARN上运行Flink,连接到HDFS,连接到HBase,或使用一些基于Hadoop的文件系统连接器