Flink (一) 入门

一 、简介

1.1 发展史

大数据的飞速发展，也促使了各种计算引擎的诞生。2006年2月诞生的Hadoop中的MapReduce，2014年9月份诞生的Storm以及2014年2月诞生的Spark都有着各自专注的应用场景。特别是Spark开启了内存计算的先河，其计算速度比Hadoop的MapReduce快100倍，以此赢得了内存计算的飞速发展。或许因为早期人们对大数据的分析认知不够深刻，亦或许当时业务场景大都局限在批处理领域，从而使得Spark的火热或多或少的掩盖了其他分布式计算引擎的身影。但就在这个时候，有些分布式计算引擎也在默默发展着，直到2016年，人们才开始慢慢意识到流计算的重要性。

1.2 Flink是什么

flink是一个框架和分布式处理引擎，用于无界和有界数据流进行状态计算

1. 分布式：可部署在分布式环境中进行并行计算，提高计算效率
2. 有界和无界：根据数据有没有起始点和结束点进行划分，例如时间，如果固定为2s则处理的数据就是起始时间就是起始时0s结束是2s之间的数据这就称为有界，如果没有固定时间点，进来一个数据计算一个数据，这就称为无界
3. 状态：在对数据流进行计算的过程中，如果上一次计算的结果洗一次还要用，即上次计算的结果进行保存作为下一次计算时候的一个数据，这就称为有状态的计算，如果每一次的计算都不依赖于上次计算的结果，就称为无状态的计算

1.3 Flink的特点

1. 可以充分利用内存性能
2. 可以以任何规模运行程序
3. 部署的方式也有很多种：例如：本地环境运行，命令部署、远程部署、图形化界面部署
4. 可以处理有界和无界的数据流

1.4 Spark 和Flink的对比

• Spark底层计算是批处理模型，在批处理基础上模拟流，从而导致了流计算实时性较低
• Flink底层计算是连续的流计算模型，在流计算上模拟批处理，既可以保证流的实时性又可以实现批处理

1.5 Flink 的应用场景

系统监控、舆情监控、交通预测、国家电网、疾病预测、金融行业风控、电商实时搜索优化等

二、环境搭建

1.在Linux上安装flink并配置

1. 在官网下载安装包并上传到Linux服务器上https://flink.apache.org/downloads.html
2. 解压，然后将文件夹名字改为flink
3. 修改配置文件：flink-conf.yaml

jobmanager.rpc.address: hadoop10
taskmanager.numberOfTaskSlots: 4
parallelism.default: 3

5. 修改slave文件：

hadoop10

2.编写代码

1. 在IDEA中创建一个Maven项目，并在pom文件中添加依赖和引入插件

 <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-scala_2.11</artifactId>
      <version>1.10.0</version>
  </dependency>
<build>
    <plugins>
      <!--scala编译插件-->
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>4.0.1</version>
        <executions>
          <execution>
            <id>scala-compile-first</id>
            <phase>process-resources</phase>
            <goals>
              <goal>add-source</goal>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
      <!--创建fatjar插件-->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>2.4.3</version>
        <executions>
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <filters>
                <filter>
                  <artifact>*:*</artifact>
                  <excludes>
                    <exclude>META-INF/*.SF</exclude>
                    <exclude>META-INF/*.DSA</exclude>
                    <exclude>META-INF/*.RSA</exclude>
                  </excludes>
                </filter>
              </filters>
            </configuration>
          </execution>
        </executions>
      </plugin>
      <!--编译插件-->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.2</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
          <encoding>UTF-8</encoding>
        </configuration>
        <executions>
          <execution>
            <phase>compile</phase>
            <goals>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>

2. 编写程序：

import org.apache.flink.streaming.api.scala._
//创建一个scala的Object
object FlinkQuickStart {
  def main(args: Array[String]): Unit = {
    //1.创建执行环境:(通用的，可运行在本地或者服务器上)
    val environment = StreamExecutionEnvironment.getExecutionEnvironment
    //本地运行环境
    //val environment = StreamExecutionEnvironment.createLocalEnvironment(3)
    //2.创建DataStream：即制定数据源。就是说从哪里拿到数据进行计算，我们这里在hadoop10的9999 端口上使用nc工具进行数据的产生，所以数据源就设置为hadoop的9999端口
    val text = environment.socketTextStream("hadoop10", 9999)
    //3.对text数据进行常规转换，对拿到的数据进行计算，这里做了一个WordCount 案例
    val result = text.flatMap(line=>line.split("\\s+"))
      .map(word=>(word,1))
      //keyBy就是对上面的数据做分组处理，根据0号元素分组。也就是根据输入的单词分组
      .keyBy(0) //类似于spark中的reducebykey；groupbykey
      .keyBy(0)
      .sum(1);

    //4.控制台打印结果
    result.print();

    //5.执行流计算任务：（括号中即为这个job的名字，可随便起）
    environment.execute("myDataStreamJobTask")

  }

}

3.部署，进行测试

3.1 本地执行

1. 打开Linux 服务器运行flink 和 打开nc端口，准备产生数据
2. 在IDEA中执行main方法
3. 在NC端口发送数据在IDEA中查看结果

3.2 远程脚本部署

1. 通过package对写好的项目进行打包，然后上传到Linux的文件系统上
2. 进入flink的目录下编写运行程序的命令进行运行jar包

./flink run -c FlinkQuickStart -p 3 -d -m hadoop10:8081 /opt/data/......jar

参数说明：
1 使用flink进行操作
2 run 表示运行
3 -c 指定要运行那个类，后面跟上类的权限定名
4 -p 设置并行度
5 -d 设置为后台运行
6 -m 设置要运行的主机
后面跟上jar包的地址

3. 查看运行中的job./flink list --running --jobmanager hadoop10:8081
4. 查看所有job./flink list --all --jobmanager hadoop10:8081
5. 取消指定job./flink cancle --jobmanager hadoop10:8081

3.3 图形化界面部署

1. 打开浏览器进去UI界面：hadoop10：8081
2. 点击左侧栏最后一个Submit New job
3. 点击右上方的add job
4. 上传本地打好的jar包
5. 设置第一行的左侧为类的权限定名，右面为并行度，然后点击submit

3.4 跨平台部署

1. 修改程序的运行环境代码，并指定并行度

//创建跨平台执行环境
   val jar = "F:\\flink\\date\\FlinkQuickStart-1.0-SNAPSHOT.jar";
   val environment = StreamExecutionEnvironment.createRemoteEnvironment("hadoop10",8081,jar);
   //设置并行度
   environment.setParallelism(3);

2. 通过mvn package将程序打包
3. 运行main方法完成部署