Flink的api入门案例

最新推荐文章于 2024-11-27 14:06:53 发布

南潇如梦

最新推荐文章于 2024-11-27 14:06:53 发布

阅读量840

点赞数

分类专栏：大数据那些事文章标签： flink 大数据开发 spark

本文链接：https://blog.csdn.net/weixin_45682261/article/details/124310888

版权

本文档详细介绍了使用Flink进行批处理和流式处理的API应用，包括Scala和Java两种语言的实现。从批处理API开始，通过读取文本文件进行单词计数，然后转向Java批处理API的相同操作。接着，展示了Scala和Java的流处理编程，从socket数据源读取数据。此外，还涵盖了将MySQL和Kafka作为Flink的数据源，最后讨论了Flink与旧版和新版Kafka API的集成。

摘要由CSDN通过智能技术生成

1 批处理api开发(scala语言开发，记得创建一个maven工程之后就添加scala语言)

7.2 新版本的kafka基础版（就是偏移量就没自定义）

7.3 新版本的升级版本，指定偏移量

环境：三台虚拟机（qianfeng01:8081,qianfeng02:8081,qianfeng03:8081）

首先在一台虚拟机上运行

start-cluster.sh

这样flink就启动了

idea开发

pom.xml(这个版本号就根据自己机器的版本号修改，不同版本真的存在兼容性问题)

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.qianfeng</groupId>
    <artifactId>qianfeng-flink-v9</artifactId>
    <version>1.0</version>

    
    <properties>
        <java.version>1.8</java.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.version>2.12.8</scala.version>
        <scala.compat.version>2.12</scala.compat.version>
        <hadoop.version>2.7.6</hadoop.version>
        <flink.version>1.14.3</flink.version>
        <kafka.version>2.4.1</kafka.version>
    </properties>

    
    <dependencies>
        
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.27</version>
        </dependency>

        
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.12</artifactId>
            <version>1.14.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>

</project>

1 批处理api开发(scala语言开发，记得创建一个maven工程之后就添加scala语言)

package com.qf.bigdata

import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}
import org.apache.flink.api.scala._
import org.apache.flink.core.fs.FileSystem
//批次处理的API单词的计数统计
object Demo01_BatchWCScala {
def main(args: Array[String]): Unit = {
    // 创建flink执行入口
    val env = ExecutionEnvironment.getExecutionEnvironment
    //通过执行对象获取批次的数据
    val ds:DataSet[String]=env.readTextFile("data/test.txt")
    //处理数据
    val rs:DataSet[(String,Int)] = ds.flatMap(_.split(" "))
      .map((_,1))
      .groupBy(0)
      .sum(1)
      .print()    //默认就是执行了execute

}

}

就是在工程的src文件夹同级建一个data文件夹，里面自定义一个文件，写单词

下图就是我的test.txt

变形

val rs:DataSet[(String,Int)] = ds.flatMap(_.split(" "))
      .map((_,1))
      .groupBy(0)
      .sum(1)
      //.print()    //默认就是执行了execute
    //添加并行度
      .setParallelism(1) //存在包的问题，就是降低

最低0.47元/天解锁文章