Flink初级实践

最新推荐文章于 2024-04-25 16:10:59 发布
最新推荐文章于 2024-04-25 16:10:59 发布
阅读量2.5k 收藏 20
点赞数 5
文章标签： flink java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43622131/article/details/112344762
版权

Flink初级实践

一、安装netcat

为了模拟输入流需要使用netcat工具，下载地址如下：
链接：https://pan.baidu.com/s/1mNuLCcQzRwu8R01gY5HCmQ
提取码：g336

解压后将nc.exe复制到C:\Windows\System32的文件夹下
在这里插入图片描述

进行测试
使用下面命令连接9000端口，向本机9000端口发送数据

nc -l -p 9000

在这里插入图片描述

使用nc localhost 9000从9000端口读取发送的数据
在这里插入图片描述

二、构建Flink项目

1.创建maven项目

创建maven项目

在这里插入图片描述
在这里插入图片描述
设置GroupId和ArtifactId
在这里插入图片描述
项目的目录结构
在这里插入图片描述
在pom.xml添加Flink所需依赖，这里flink版本、java版本和scala版本要和自己的对应

<properties>
	<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	<flink.version>1.12.0</flink.version>
	<java.version>1.8</java.version>
	<scala.binary.version>2.11</scala.binary.version>
	<maven.compiler.source>${java.version}</maven.compiler.source>
	<maven.compiler.target>${java.version}</maven.compiler.target>
</properties>
<dependencies>
		<!-- Apache Flink dependencies -->
		<!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-java</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
			<version>${flink.version}</version>
			<scope>provided</scope>
		</dependency>

		<!-- Add connector dependencies here. They must be in the default scope (compile). -->

		<!-- Example:

		<dependency>
			<groupId>org.apache.flink</groupId>
			<artifactId>flink-connector-kafka-0.10_${scala.binary.version}</artifactId>
			<version>${flink.version}</version>
		</dependency>
		-->

		<!-- Add logging framework, to produce console output when running in the IDE. -->
		<!-- These dependencies are excluded from the application JAR by default. -->
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-log4j12</artifactId>
			<version>1.7.7</version>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>log4j</groupId>
			<artifactId>log4j</artifactId>
			<version>1.2.17</version>
			<scope>runtime</scope>
		</dependency>
	</dependencies>

	<build>
		<plugins>

			<!-- Java Compiler -->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.1</version>
				<configuration>
					<source>${java.version}</source>
					<target>${java.version}</target>
				</configuration>
			</plugin>

			<!-- We use the maven-shade plugin to create a fat jar that contains all necessary dependencies. -->
			<!-- Change the value of <mainClass>...</mainClass> if your program entry point changes. -->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>3.0.0</version>
				<executions>
					<!-- Run shade goal on package phase -->
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<artifactSet>
								<excludes>
									<exclude>org.apache.flink:force-shading</exclude>
									<exclude>com.google.code.findbugs:jsr305</exclude>
									<exclude>org.slf4j:*</exclude>
									<exclude>log4j:*</exclude>
								</excludes>
							</artifactSet>
							<filters>
								<filter>
									<!-- Do not copy the signatures in the META-INF folder.
									Otherwise, this might cause SecurityExceptions when using the JAR. -->
									<artifact>*:*</artifact>
									<excludes>
										<exclude>META-INF/*.SF</exclude>
										<exclude>META-INF/*.DSA</exclude>
										<exclude>META-INF/*.RSA</exclude>
									</excludes>
								</filter>
							</filters>
							<transformers>
								<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
									<mainClass>myflink.StreamingJob</mainClass>
								</transformer>
							</transformers>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>

		<pluginManagement>
			<plugins>

				<!-- This improves the out-of-the-box experience in Eclipse by resolving some warnings. -->
				<plugin>
					<groupId>org.eclipse.m2e</groupId>
					<artifactId>lifecycle-mapping</artifactId>
					<version>1.0.0</version>
					<configuration>
						<lifecycleMappingMetadata>
							<pluginExecutions>
								<pluginExecution>
									<pluginExecutionFilter>
										<groupId>org.apache.maven.plugins</groupId>
										<artifactId>maven-shade-plugin</artifactId>
										<versionRange>[3.0.0,)</versionRange>
										<goals>
											<goal>shade</goal>
										</goals>
									</pluginExecutionFilter>
									<action>
										<ignore/>
									</action>
								</pluginExecution>
								<pluginExecution>
									<pluginExecutionFilter>
										<groupId>org.apache.maven.plugins</groupId>
										<artifactId>maven-compiler-plugin</artifactId>
										<versionRange>[3.1,)</versionRange>
										<goals>
											<goal>testCompile</goal>
											<goal>compile</goal>
										</goals>
									</pluginExecutionFilter>
									<action>
										<ignore/>
									</action>
								</pluginExecution>
							</pluginExecutions>
						</lifecycleMappingMetadata>
					</configuration>
				</plugin>
			</plugins>
		</pluginManagement>
	</build>

	<!-- This profile helps to make things run out of the box in IntelliJ -->
	<!-- Its adds Flink's core classes to the runtime class path. -->
	<!-- Otherwise they are missing in IntelliJ, because the dependency is 'provided' -->
	<profiles>
		<profile>
			<id>add-dependencies-for-IDEA</id>

			<activation>
				<property>
					<name>idea.version</name>
				</property>
			</activation>

			<dependencies>
				<dependency>
					<groupId>org.apache.flink</groupId>
					<artifactId>flink-java</artifactId>
					<version>${flink.version}</version>
					<scope>compile</scope>
				</dependency>
				<dependency>
					<groupId>org.apache.flink</groupId>
					<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
					<version>${flink.version}</version>
					<scope>compile</scope>
				</dependency>
			</dependencies>
		</profile>
	</profiles>

2.编写代码

新建SocketWindowWordCount类
在这里插入图片描述
代码如下，首先尝试在window本地运行

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

public class SocketWindowWordCount {

    public static void main(String[] args) throws Exception {

        // 创建 execution environment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 通过连接 socket 获取输入数据，这里连接到本地9121端口，如果9121端口已被占用，请换一个端口
        DataStream<String> text = env.socketTextStream("localhost", 9121, "\n");

        // 解析数据，按 word 分组，开窗，聚合
        DataStream<Tuple2<String, Integer>> windowCounts = text
                .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                    @Override
                    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
                        for (String word : value.split("\\s")) {
                            out.collect(Tuple2.of(word, 1));
                        }
                    }
                })
                .keyBy(0)
                .timeWindow(Time.seconds(5))//使用5秒的翻转窗口
                .sum(1);

        // 将结果打印到控制台，注意这里使用的是单线程打印，而非多线程
        windowCounts.print().setParallelism(1);

        env.execute("Socket Window WordCount");
    }
}

3.本地运行代码

遇到找不到类的问题
在这里插入图片描述
使用下面方法解决
在这里插入图片描述
选中红框中的选项
在这里插入图片描述

然后又出现如下报错在这里插入图片描述
原因是flink1.12版本，移除了flink-streaming-java 对 flink-clients 的依赖，需要手动加入clients依赖。
在在 pom 文件中手动添加依赖即可

<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.12.0</version>
        </dependency>

接下来运行成功
在这里插入图片描述
但是在输入数据之后报下面错误
在这里插入图片描述
在这里插入图片描述
经过分析发现没有设置时间的类型，flink的时间类型主要有三种：

  • 处理时间 Processing Time：rocessing Time(处理时间)是指执行相应操作机器的系统时间
  • 事件时间 Event Time：Event Time(事件时间)是每个独立事件在它生产设备上产生的时间
  • 提取时间 Ingestion Time：ngestion Time是事件进入Flink的时间
    我们这里添加一行，设置为处理时间env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

public class SocketWindowWordCount {

    public static void main(String[] args) throws Exception {

        // 创建 execution environment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

        // 通过连接 socket 获取输入数据，这里连接到本地9121端口，如果9121端口已被占用，请换一个端口
        DataStream<String> text = env.socketTextStream("localhost", 9121, "\n");;

        // 解析数据，按 word 分组，开窗，聚合
        DataStream<Tuple2<String, Integer>> windowCounts = text
                .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                    @Override
                    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
                        for (String word : value.split("\\s")) {
                            out.collect(Tuple2.of(word, 1));
                        }
                    };

                })

                .keyBy(0)
                .timeWindow(Time.seconds(5))
//                .countWindow(2)
//                .window(TumblingEventTimeWindows.of(Time.seconds(20)))
                .sum(1);


        // 将结果打印到控制台，注意这里使用的是单线程打印，而非多线程
        windowCounts.print().setParallelism(1);

        env.execute("Socket Window WordCount");
    }
}

设置翻转窗口为5秒
在这里插入图片描述

除此之外还遇到一个log4j的问题，但是这个并不影响结果，由于强迫症还是把这个问题解决一下
在这里插入图片描述

在项目的resources中新建log4j2.xml文件并加上下面内容：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Appenders>
        <Console name="STDOUT" target="SYSTEM_OUT">
            <PatternLayout pattern="%d %-5p [%t] %C{2} (%F:%L) - %m%n"/>
        </Console>
        <RollingFile name="RollingFile" fileName="logs/strutslog1.log"
                     filePattern="logs/$${date:yyyy-MM}/app-%d{MM-dd-yyyy}-%i.log.gz">
            <PatternLayout>
                <Pattern>%d{MM-dd-yyyy} %p %c{1.} [%t] -%M-%L- %m%n</Pattern>
            </PatternLayout>
            <Policies>
                <TimeBasedTriggeringPolicy />
                <SizeBasedTriggeringPolicy size="1 KB"/>
            </Policies>
            <DefaultRolloverStrategy fileIndex="max" max="2"/>
        </RollingFile>
    </Appenders>
    <Loggers>
        <Logger name="com.opensymphony.xwork2" level="WAN"/>
        <Logger name="org.apache.struts2" level="WAN"/>
        <Root level="warn">
            <AppenderRef ref="STDOUT"/>
        </Root>
    </Loggers>

</Configuration>

再次运行，该问题解决
在这里插入图片描述

4.集群上运行代码

首先使用idea将项目打成jar包
其中代码部分需要做如下修改，因为我使用的flink集群在docker上，所以将监听的端口设置成宿主机的端口，这样就可以使集群从宿主机的端口上获取数据

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

public class SocketWindowWordCount {

    public static void main(String[] args) throws Exception {

        // 创建 execution environment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

        // 通过连接 socket 获取输入数据，这里连接到本地9121端口，如果9121端口已被占用，请换一个端口
        DataStream<String> text = env.socketTextStream("10.0.75.1", 9121, "\n");;

        // 解析数据，按 word 分组，开窗，聚合
        DataStream<Tuple2<String, Integer>> windowCounts = text
                .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                    @Override
                    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
                        for (String word : value.split("\\s")) {
                            out.collect(Tuple2.of(word, 1));
                        }
                    };

                })

                .keyBy(0)
                .timeWindow(Time.seconds(5))
//                .countWindow(2)
//                .window(TumblingEventTimeWindows.of(Time.seconds(20)))
                .sum(1);


        // 将结果打印到控制台，注意这里使用的是单线程打印，而非多线程
        windowCounts.print().setParallelism(1);

        env.execute("Socket Window WordCount");
    }
}

按照如下操作对maven项目进行打包
设定主类

在这里插入图片描述
然后会在out目录中输出
在这里插入图片描述

启动flink集群，在ui界面上提交刚刚打的jar包，设置主类然后提交
在这里插入图片描述
运行成功
在这里插入图片描述
从日志中可以看到输出，代码在集群上运行成功
在这里插入图片描述

独醉F
关注
  • 5
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实验8 Flink初级编程实践
06-28
实验内容与完成情况： 1. 使用IntelliJ IDEA工具开发WordCount程序 在Linux操作系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR包，提交到Flink中运行。 安装Flink并启动： 安装maven： 使用IntelliJ IDEA写java： 使用maven打包JAR包 运行JAR包结果： 2. 数据流词频统计 使用Linux操作系统自带的NC程序模拟生成数据流，不断产生单词并发送出去。编写Fink程序对NC程序发来的单词进行实时处理，计算词频，并输出词频统计结果。要求首先在IntelliJ IDEA中开发和调试程序，然后打包成JAR包部署到Flink中运行。 使用IntelliJ IDEA写java： 运行NC并输入数据： 运行JAR包：
Flink初级编程实践
weixin_53095848的博客
05-23 587
在idea中创建FlinkTest项目，在Java包中编写WordCountData.java，WordCountTokenizer.java，WordCount.java。在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。6通过打包成JAR包部署到Flink中运行，想查看输出结果，在浏览器中查看的时候，一直打不开，在百度是看到要使用8081端口，修改后完美解决。
大数据Flink入门案例
赵广陆
05-05 471
目录1 前置说明1.1 API1.2 编程模型2 准备工程2.1 pom文件3 Flink初体验3.1 需求3.2 编码步骤3.3 代码实现3.3.1 基于DataSet3.3.2 基于DataStream3.3.3 Lambda版3.3.4 在Yarn上运行3.3.5 Flink任务通过默认方式启动 1 前置说明 1.1 API ⚫ API Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大 注意：在Flink1.12时支持流批一体，Dat
大数据技术原理及应用课实验8 ：Flink初级编程实践
weixin_60530224的博客
01-22 450
在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。
Apache Flink 零基础入门（八）： SQL 编程实践
Ververica的博客
09-06 1224
作者：伍翀（云邪） 本文是 Apache Flink 零基础入门系列文章第八篇，将通过五个实例讲解 Flink SQL 的编程实践。 注： 本教程实践基于 Ververica 开源的 sql-training 项目。基于 Flink 1.7.2 。 通过本课你能学到什么？ 本文将通过五个实例来贯穿 Flink SQL 的编程实践，主要会涵盖以下几个方面的内容。 如何使用 SQL CLI 客户...
Flink 从 0 到 1 学习 —— 第九章 状态编程和容错机制
dwjf321的博客
10-15 511
文章目录1. 有状态的算子和应用程序1.1 算子状态 (operator state)1.2 键控状态 (keyed state)2. 状态一致性2.2 端到端 (end-to-end) 状态一致性3. 检查点 (checkpoint)3.1 Flink的检查点算法3.2 Flink+Kafka如何实现端到端的 exactly-once 语义4. 选择一个状态后端4.1 MemoryStateBackend4.2 FsStateBackend4.3 RocksDBStateBackend 流式计算分为无状态
Flink入门编程
记录点点滴滴
04-19 3872
2.Flink入门编程 环境准备 创建项目 创建工程 添加项目依赖 配置日志管理 编写代码 批处理 运行程序 流处理 读取文件 运行程序 读取文本流
大数据实验报告（实验一到八）
04-20
实验一： 熟悉常用的Linux操作和Hadoop操作 实验二： 熟悉常用的HDFS操作 实验三： 熟悉常用的HBase操作 实验四： 熟悉常用的mongoDB数据库操作 实验五： MapReduce初级编程实践 实验六： 熟悉Hive的基本操作 实验七： Spark初级编程实践 实验八： Flink初级编程实践
Flink初级实践-附件资源
03-05
Flink初级实践-附件资源
Flink实践手册.pdf
03-18
Flink实践手册Flink
Flink学习（九）-jar 包提交给 flink 集群执行
最新发布
a80C51的博客
04-25 285
执行后，依旧在浏览器的 webUI 中，看相关信息即可。在命令行中，在flink 的安装目录下，执行。
Flink面试（1）
weixin_51981189的博客
04-22 859
Flink 作业中，包含两个基本的块：数据流（DataStream）和 转换（Transformation）。DataStream 是逻辑概念，为开发者提供 API 接口，Transformation 是处理行为的抽象，包含了数据的读取、计算、写出。所以 Flink 作业中的 DataStream API 调用，实际上构建了多个由 Transformation 组成的数据处理流水线（Pipeline）。
1、Flink DataStreamAPI 概述（上）
猫猫爱吃小鱼粮
04-24 663
1、Flink DataStreamAPI 概述（上）
深入探索 Apache Flink：流式处理框架的奥秘
shiranyyds的博客
04-21 462
深入探索 Apache Flink：流式处理框架的奥秘
pyflink 设置流批模式
zhaoyangjian724的专栏
04-24 176
import reimport sys。
Flink容错机制
IT深耕十余载，大道之简
04-22 681
检查点是Flink容错机制的核心。在保存时，Flink会复制每个任务当前的状态，并将其持久化到可靠的存储系统中。Flink通过与这些组件的紧密集成和协作，确保从数据源到输出系统的整个流处理过程中，数据的一致性和正确性得到保证。总的来说，Flink的容错机制是一个复杂而精细的系统，它通过检查点、状态后端以及其他容错机制的结合，确保了流处理过程中的数据一致性和计算的正确性。Flink的容错机制是一个复杂而精细的系统，旨在确保在分布式流处理过程中，即使在发生故障的情况下，也能保持数据的一致性和计算的正确性。
flink初级编程实践wikilog
08-31
在flink初级编程实践wikilog中，你可以通过实验来掌握基本的Flink编程方法，并学会使用IntelliJ IDEA工具编写Flink程序。 在IDEA中进行调试时，需要注意先启动FlinkWordCount2词频统计程序，然后在NC程序窗口内连续...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值