Flink调研与使用

• 文档：Flink官方中文文档 相当清楚的文档了，直接看就行了。

前言

通常Flink的应用场景有以下三种（详细见 Flink应用场景）：

• 事件驱动型应用

• 数据分析应用

• 数据管道应用

• 先上手安装：flink安装启动(docker)
  

好博客

• Flink应用场景

• 聊聊Flink DataStream的八种物理分区逻辑

• Flink之用户代码生成调度层图结构

• Apache Flink-浅读

• Jark’s Blog Flink 系列 - 来自以为阿里的小哥，文章相当不错，值得推荐！！！

  • Flink 原理与实现：如何处理反压问题
  • Flink 原理与实现：内存管理
  • Flink 原理与实现：架构和拓扑概览
  • Flink 原理与实现：如何生成 StreamGraph
  • Flink 原理与实现：理解 Flink 中的计算资源
  • Flink 原理与实现：如何生成 JobGraph
  • Flink 原理与实现：数据流上的类型和操作
  • Flink 原理与实现：Window 机制
  • Flink 原理与实现：Session Window
  • Flink 原理与实现：Table & SQL API
  • Flink 原理与实现：Aysnc I/O
  • Flink在美团的实践与应用
  • Flink小贴士 (1)：确定Flink作业所需资源大小时要考虑的6件事
  • Flink 小贴士 (2)：Flink 如何管理 Kafka 消费位点
  • 5分钟从零构建第一个 Flink 应用
  • Flink 零基础实战教程：如何计算实时热门商品
  • 一文了解 Apache Flink 核心技术
  • Flink 小贴士 (3): 轻松理解 Watermark
  • Flink 小贴士 (4): 如何选择状态后端
  • Flink 小贴士 (5): Savepoint 和 Checkpoint 的 3 个不同点
  • Flink 小贴士 (6): 使用 Broadcast State 的 4 个注意事项
  • Flink 小贴士 (7): 4个步骤，让 Flink 应用达到生产状态
  • 如何从小白成长为 Apache Committer?
  • Flink SQL 编程实践
  • Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
  • Demo：基于 Flink SQL 构建流式应用

Flink 使用之紧急避坑

• Flink 版本问题，Flink 代码版本一定要和Fink应用版本一样
• Flink jar 包上传找不到类的问题，项目打包有两种方式：
  • 只打包自己的代码（如果只是用Flink和jdk 代码依赖可以这样），上传的jar包会很小；以下是pom：

    <build>
       <plugins>
           <plugin>
               <artifactId>maven-compiler-plugin</artifactId>
               <configuration>
                   <source>1.8</source>
                   <target>1.8</target>
                   <encoding>UTF-8</encoding>
               </configuration>
           </plugin>
       </plugins>
   </build>

• 打包自己的代码和相关依赖，（如果有其它引入，可以这样操作，一般实际应用都比较复杂，会引入Kafka，Redis等），缺点：打的包比较大。以下是对应的pom：

   <build>
      <plugins>
          <plugin>
              <artifactId>maven-compiler-plugin</artifactId>
              <version>2.3.2</version>
              <configuration>
                  <source>1.8</source>
                  <target>1.8</target>
              </configuration>
          </plugin>

          <plugin>
              <artifactId>maven-assembly-plugin</artifactId>
              <configuration>
                  <descriptorRefs>
                      <descriptorRef>jar-with-dependencies</descriptorRef>
                  </descriptorRefs>
              </configuration>
              <executions>
                  <execution>
                      <id>make-assembly</id>
                      <phase>package</phase>
                      <goals>
                          <goal>single</goal>
                      </goals>
                  </execution>
              </executions>
          </plugin>
      </plugins>
  </build>

• Kafka 接入ACL验证问题
  demo 如下：

public static void main(String[] args) throws Exception {
      System.out.println("UpAndDownConditionFlinkKafkaConsumer start.");
      final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
      env.enableCheckpointing(5000); // 非常关键，一定要设置启动检查点！！
      env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
      Properties props = new Properties();
      props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS);
      props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_GROUP_ID);
      String jassc = "org.apache.kafka.common.security.scram.ScramLoginModule required"
              + " username=" + SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_USER
              + " password=" + SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_SECRET + ";";
      props.setProperty("sasl.jaas.config", jassc);
      props.setProperty("security.protocol", "SASL_PLAINTEXT");
      props.setProperty("sasl.mechanism", "SCRAM-SHA-256");
      FlinkKafkaConsumer<String> consumer =
              new FlinkKafkaConsumer<>(SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_TOPIC, new SimpleStringSchema(), props);

      env.addSource(consumer).process(new ProcessFunction<String, Object>() {
          @Override
          public void processElement(String value, ProcessFunction<String, Object>.Context ctx, Collector<Object> out) throws Exception {
              System.out.println(value);
              out.collect(value);
          }
      }).print("Kafka message.");

      env.execute("Flink-Kafka demo");
  }