flink 任务提交问题汇总

1、提交flink自带任务WordCount.jar遇到的问题：

---

- 问题描述：

最近在提交flink项目example下WordCount.jar批处理任务时遇到以下问题：

The main method caused an error: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted.
之后就是拒绝连接等异常详细内容如下：

yarn 资源管理器，flink页面这样显示：

- 原因分析：

之后我重启了zk，hadoop，重新提交flink任务，但还是不行。
之后看到flink页面的内容.Service temporarily unavailable due to an ongoing leader election. Please refresh，让我想到之前提交任务也遇到过这种情况。于是考虑了 以下两个问题：
1、在yarn提交批处理任务的时候都是同一个任务，会不会产生冲突
2、结果输出会不会冲突
在yarn提交任务是不可能冲突的，任务之间是独立的，所以排除了第一种情况，然后就是输出问题，我提交任务的时候都是在同一个文件输出，这时候问题就来了如果结果都输出到同一个文件那不就乱了，flink好像也预知了这样的问题，因此报了上面的错误。

---

- 解决方案：
更改批处理的输出路径

如果你第一次是这样提交：

bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar -input hdfs://hadoop01:9000/test/word -output hdfs://hadoop01:9000/test/result1

第二次就这样提交：

bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar -input hdfs://hadoop01:9000/test/word -output hdfs://hadoop01:9000/test/result2

2、提交flink 批处理任务时遇到的问题

---

- 问题描述
最近写了一个flink批处理程序， 目的是读取hdfs文件，将文件数据写入到hbase。

项目是在idea中开发的 pom 文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>hdfs-flink</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <flink.version>1.11.2</flink.version>
        <scala.binary.version>2.12</scala.binary.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>2.0.0-alpha1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.4</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_2.11</artifactId>
            <version>1.11.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.18</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.17</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase