20200916 001_Flink-快速上手（简单Demo代码实现）

20200916 001_Flink-快速上手（简单Demo代码实现）

IDE：IDEA

Flink:1.10.1

scala：flink-scala_2.12.1.10.1

 

第二章 快速上手

 

2.1 搭建 maven 工程

2.1.1 pom 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>FlinkTutorial</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
            <version>1.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.flink</groupId>
                    <artifactId>flink-streaming-java_2.11</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <!-- 该插件用于将Scala代码编译成class文件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>4.4.0</version>
                <executions>
                    <execution>
                        <!-- 声明绑定到maven的compile阶段 -->
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin><!-- 打包-->
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef><!-- 打包时，把所有依赖打包进入 -->
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

2.2 Demo1: 批处理的WordCount程序

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._
//批处理的WordCount程序
object WordCount {
  def main(args: Array[String]): Unit = {
    // 创建一个批处理执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment

    // 从文件中读取数据
    val inputPath: String = "D:\\software\\CODE\\FlinkCode\\FlinkTutorial\\src\\main\\resources\\hello.txt"
    val inputDataSet: DataSet[String]  = env.readTextFile(inputPath)

    // 对数据进行转换处理统计, 先分词，再按照word进行分组最后进行聚合统计
    // ()元组类型
    //
    val resultDataSet: DataSet[(String, Int)] = inputDataSet
      .flatMap(_.split(" "))// flatMap传一个function，
      .map((_, 1))//map成一个二元组，来一个word 就统计它的值是1
      .groupBy(0)  //下标是以0为起始地址：以第一个元素作为key，进行分组
      .sum(1)       //1、传stirng类型，字段名称；2、传int类型，字段下标位置：对当前分组的所有数据的第二个元素求和

    // 打印输出
    resultDataSet.print()
  }
}

2.3 Demo2: 流处理WordCount程序

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._

//流处理WordCount
object StreamWordCount {
  def main(args: Array[String]): Unit = {
    // 创建流处理的执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
//    env.setParallelism(20) //配置执行环境 并行度

    // 从外部命令中提取参数， 作为socket主机名和端口号
    val paramTool: ParameterTool = ParameterTool.fromArgs(args);
    val host: String = paramTool.get("host")
    val port: Int = paramTool.getInt("port")

    // 接收一个socket文本流 "192.168.110.100"7777
    val inputDataStream: DataStream[String] = env.socketTextStream(host, port)

    // 进行转换处理统计
    // 后面那些.方法名 都是 算子
    // 可以给 每一个算子都设置一个并行度
    val resultDataStream: DataStream[(String, Int)] = inputDataStream
      .flatMap(_.split(" "))    // flatMap传一个function，
      .filter(_.nonEmpty)               // 过滤不为空
      .map((_, 1))                      // 当前元素计数为1
      .keyBy(0)                 // 分组，相当于分区
      .sum(1)                 // 对当前分组的所有数据的第二个元素叠加

    resultDataStream.print().setParallelism(1)// 单独给这个print() 设置并行度 .setParallelism(1) 打印就没有前面的序号了

    // 以上都是定义了一个任务，并没有执行
    // 流处理 是事件驱动，等着数据来，然后再进行以上的数据处理
    // 启动任务执行
    env.execute("stream word count")
  }
}

//从外部命令中提取参数， 作为socket主机名和端口号

Run-》Edit Configurations 配置一下Program arguments：如下

 

 

分布式架构，可能会带来数据乱序的问题