04-Flink入门案例-准备环境

最新推荐文章于 2022-10-14 09:36:32 发布
最新推荐文章于 2022-10-14 09:36:32 发布
阅读量152 收藏
点赞数
分类专栏： Flink1.12从入门到精通笔记
原文链接：https://space.bilibili.com/586389049?spm_id_from=333.788.b_765f7570696e666f.1
版权

Flink入门案例

前置说明

Flink API

注意:入门案例使用DataSet后续就不再使用了,而是使用流批一体的DataStream

Flink 编程模型数据流结构

https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/batch/

在这里插入图片描述

准备环境

准备环境

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.itcast</groupId>
    <artifactId>flink_study_47</artifactId>
    <version>1.0-SNAPSHOT</version>
    <!-- 指定仓库位置，依次为aliyun、apache和cloudera仓库 -->
    <repositories>
        <repository>
            <id>aliyun</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        </repository>
        <repository>
            <id>apache</id>
            <url>https://repository.apache.org/content/repositories/snapshots/</url>
        </repository>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>

    <properties>
        <encoding>UTF-8</encoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <java.version>1.8</java.version>
        <scala.version>2.12</scala.version>
        <flink.version>1.12.0</flink.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- flink执行计划,这是1.9版本之前的-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <!-- blink执行计划,1.11+默认的-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!--<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-cep_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>-->

        <!-- flink连接器-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-kafka_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- <dependency>
           <groupId>org.apache.flink</groupId>
           <artifactId>flink-connector-filesystem_2.12</artifactId>
           <version>${flink.version}</version>
       </dependency>-->
        <!--<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-jdbc_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>-->
        <!--<dependency>
              <groupId>org.apache.flink</groupId>
              <artifactId>flink-parquet_2.12</artifactId>
              <version>${flink.version}</version>
         </dependency>-->
        <!--<dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-avro</artifactId>
            <version>1.10.0</version>
        </dependency>-->


        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-streaming-java_2.11</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-runtime_2.11</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-core</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-java</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>2.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop-2-uber</artifactId>
            <version>2.7.5-10.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
            <!--<version>8.0.20</version>-->
        </dependency>

        <!-- 高性能异步组件：Vertx-->
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-core</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-jdbc-client</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-redis-client</artifactId>
            <version>3.9.0</version>
        </dependency>

        <!-- 日志 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.7</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.44</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.2</version>
            <scope>provided</scope>
        </dependency>

        <!-- 参考：https://blog.csdn.net/f641385712/article/details/84109098-->
        <!--<dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-collections4</artifactId>
            <version>4.4</version>
        </dependency>-->
        <!--<dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
            <scope>provided</scope>
         </dependency>-->
        <!--<dependency>
           <groupId>com.google.guava</groupId>
           <artifactId>guava</artifactId>
           <version>28.2-jre</version>
       </dependency>-->

    </dependencies>

    <build>
        <sourceDirectory>src/main/java</sourceDirectory>
        <plugins>
            <!-- 编译插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <!--<encoding>${project.build.sourceEncoding}</encoding>-->
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.18.1</version>
                <configuration>
                    <useFile>false</useFile>
                    <disableXmlReport>true</disableXmlReport>
                    <includes>
                        <include>**/*Test.*</include>
                        <include>**/*Suite.*</include>
                    </includes>
                </configuration>
            </plugin>
            <!-- 打包插件(会包含所有依赖) -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <!--
                                        zip -d learn_spark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF -->
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <!-- 设置jar包的入口类(可选) -->
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

在这里插入图片描述

在这里插入图片描述

Eistert
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink入门案例
weixin_54707168的博客
01-29 620
前言 本篇将通过两个案例来入门Flink流式处理和批处理编程。 准备环境： Scala 2.12版本 创建一个Maven工程项目 一、准备 1.1 引入依赖 pom.xml <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</art...
【Flink】小例子入门
好学若饥，谦卑若愚
02-28 1798
Flink 介绍 基于数据流的，有状态的计算，计算作用在有界或者无界的数据流上 流类型 无界流：有开始，没有结束的数据流，采用的处理方式按照一定顺序处理（时间。。。） 有界流：有开始，有结束的数据流，经常采用处理方式用批处理 spark、flink对比 1、spark、flink 支持流、批处理 2、flink 高吞吐、低延迟 词频统计 需求：词频统计（word count），一个文件，统计文件中每个单词出现的次数，分隔符是\t，统计结果输出到控制台（生产环境上肯定是Sink到达目的地）
Flink教程（04）- Flink入门案例
阿甘兄
03-07 2622
文章目录01 引言02 开发前准备2.1 API2.2 编程模型03 入门案例3.1 项目搭建3.2 代码实现3.2.1 基于DataSet3.2.2 基于DataStream3.2.3 Lambda版3.2.3 在Yarn上运行04 Flink原理 01 引言 在前面的博客，我们已经可以基本把Flink的环境搭建起来了，有兴趣的同学可以参阅下： 《Flink教程（01）- Flink知识图谱》 《Flink教程（02）- Flink入门》 《Flink教程（03）- Flink环境搭建》 Flink
Flink 简单入门示例
Widsom的博客
01-24 4528
Flink 简单入门示例 1.Flink读取Socket流，实现Word Count示例 import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _} import org.apache.flink.streaming.api.windowing.time.Time object SocketWindowW...
Flink高手之路：Flink入门案例
weixin_46490924的博客
10-14 515
Flink高手之路：Flink入门案例
项目2-Flink安装部署与快速入门1
08-08
课程的主要目标是让学生了解 Flink 的应用场景、掌握 Flink 环境的搭建、掌握 Flink 的入门案例和了解 Flink 的基本原理。 课程的主要内容包括： 1. Flink 的安装部署 2. Flink 的基本原理 3. Flink 的应用场景 4....
Flink入门案例程序（中华石杉的课堂代码）
04-12
**Flink入门案例程序概述** 本教程主要针对的是Apache Flink初学者，通过中华石杉提供的课堂代码，我们将深入理解Flink的核心概念和技术。Apache Flink是一个开源的流处理和批处理框架，它以强大的实时数据处理能力...
flink1.12入门到精通视频课程
07-15
08-[掌握]-Flink入门案例-环境准备 09-[掌握]-Flink入门案例-代码实现-1-DataSet 10-[掌握]-Flink入门案例-代码实现-2-DataStream流批一体-匿名内部类版 11-[掌握]-Flink入门案例-代码实现-2-DataStream流批一体-...
最全面的flink入门编程案例
09-18
【标题】：“最全面的Flink入门编程案例” 在大数据处理领域，Apache Flink是一个流行的开源流处理框架，它提供了一种低延迟、高吞吐量的数据处理能力，支持批处理和流处理两种模式。本篇文章将深入浅出地引导初学...
Flink入门及实战V1.6.1-2018最新
10-22
Flink入门及实战最新内容分享，包含Flink基本原理及应用场景、Flink vs storm vs sparkStreaming、Flink入门案例-wordCount、Flink集群安装部署standalone+yarn、Flink-HA高可用、Flink scala shell代码调试
Flink入门教程
04-15
根据Flink官网翻译的中文教程，同时自带了入门Demo教程
Flink入门示例——wordCount(一)
believe2017slwx的博客
04-17 4760
说明（流处理）读取kafka流数据,每5s统计一次将处理结果写入Redis代码示例&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instanc...
Flink俩个入门实例
Tomas_White的博客
02-11 303
Flink处理数据 目录结构 pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.12</artifactId> <version...
Flink入门案例-wordCount
剑穹 的 博客
03-26 613
开发工具 官方建议使用Intellij IDEA，因为它默认集成scala和maven环境，使用更加方便 开发flink程序，可以使用java或者scala语言。 个人建议，使用scala，因为实现起来更加简洁。使用java代码实现函数式编程比较别扭。 建议使用maven国内镜像仓库地址 （1）国外仓库下载较慢，可以使用国内阿里云的maven仓库 （2）注意：如果发现国内源下载提示找不...
flink入门
MineCodelife的博客
08-11 153
Flink是一个面向分布式数据流处理和批量处理的开源计算平台。 Flink优点 支持高吞吐，低延迟，高性能的流处理 支持高度灵活的窗口操作 支持有状态计算的Exactly-once语义 Flink是基于master-slave风格的架构 Flink集群启动时，会启动一个JobManager进程，至少一个TaskManager进程 JobManger Flink系统的协调者，负责接收job,调度组成Job的多个task执行 收集Job的状态信息，并管理Flink集群中从...
Flink 入门
肖肖的博客
08-19 464
flink是一个分布式处理引擎，可以在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
Flink（一）入门
chaohui2638457321的博客
01-21 546
1. Flink的特点 事件驱动（Event-driven） 基于流处理 一切皆由流组成，离线数据是有界的流；实时数据是一个没有界限的流。（有界流、无界流） 分层API 越顶层越抽象，表达含义越简明，使用越方便 越底层越具体，表达能力越丰富，使用越灵活 1.1 Flink vs Spark Streaming 数据模型 Spark采用RDD模型，spark streaming的DStream实际上也就是一组组小批数据RDD的集
Flink入门
sinat_34241861的博客
03-21 199
一、Flink是什么 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 二、为什么选择Flink 流数据能够反映我们真实的生活方式，但是传统的数据架构是基于有限数据集的。 我们期望的数据处理框架是：（1）低延迟（2）高吞吐（3）结果的准确性和良好的容错性 图一：传统事务处理架构 图二：传统分析处理架构 图三：有状态的流式处理 图四：lambda流处理架构 图五：Flink事件驱动架构 Flink vs Spark Streaming 1、数据模型 spark
flink 入门案例 依赖
最新发布
08-03
5. 开发工具和环境：进行 Flink 入门案例开发需要依赖相应的开发工具和环境，如 Java 或 Scala 开发语言、IDE（如 IntelliJ IDEA、Eclipse）等。 6. 文档和学习资源：入门案例开发过程中可以参考官方的文档和学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值