flink介绍
Flink 是一个大规模数据处理引擎,适用于需要处理大量数据的场景,如大数据分析、实时数据流处理等。它是一个开源的分布式流处理框架,由 Apache 软件基金会开发,可以在多种平台上运行,如 Hadoop、YARN 等。Flink 提供了实时数据流处理、批处理和机器学习等功能,具有高吞吐量、低延迟和可扩展等优点。在 Flink 中,数据流被视为无界的,这意味着数据处理可以随时进行,而不需要等待数据集的完整。Flink 的核心是一个基于时间和事件驱动的执行引擎,可以高效地执行复杂的流处理和批处理程序。Flink 在大数据领域有着广泛的应用,是大数据处理领域的一个重要工具。
flink简单使用
-
- 安装: 首先,你需要在你的机器上安装Apache Flink。你可以从Apache Flink的官方网站下载最新的版本。下载完成后,解压缩文件,并设置环境变量。 2. Flink程序结构: 一个基本的Flink程序包括以下部分:** **
- 获取执行环境** **
- 加载/创建初始数据** **
- 指定此数据的转换** **
- 指定计算结果的位置** **
- 触发程序执行** **
-
- 创建一个Flink项目: 你可以使用任何支持Java的IDE创建一个新的Flink项目。创建新项目后,需要添加Flink的依赖项。** **
-
•
4. 编写一个简单的Flink程序: 以下是一个简单的Flink程序,它读取文本文件的内容,将文本分割成单词,并计算每个单词出现的次数。
创建一个maven项目
导入Maven依赖
–javascripttypescriptbashsqljsonhtmlcssccppjavarubypythongorustmarkdown
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.10.2</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.10.2</version>
<scope>provided</scope>
</dependency>
</dependencies>
创建Main程序启动类
public class WordCount {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = env.readTextFile("path_to_your_text_file");
DataStream<Tuple2<String, Integer>> counts = text
.flatMap(new Tokenizer())
.keyBy(value -> value.f0)
.reduce((ReduceFunction<Tuple2<String, Integer>>) (value1, value2) -> new Tuple2<>(value1.f0, value1.f1 + value2.f1));
counts.print();
env.execute("WordCount");
}
public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
@Override
public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
String[] words = value.toLowerCase().split("\\W+");
for (String word : words) {
if (word.length() > 0) {
out.collect(new Tuple2<>(word, 1));
}
}
}
}
}
在这个程序中,我们首先从一个文本文件中读取数据,然后使用flatMap函数将每一行文本分割成单词,并为每个单词生成一个(key, 1)的元组。然后我们按key分组,并将每组的值相加,得到每个单词的出现次数。
上述代码是通过文件模拟流处理,模拟有界流,当我们在生产环境当中,一般都是无界流,来一个流数据处理一个,一般通过kafka,这里测试使用nc工具
public class Main {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
ParameterTool parameterTool = ParameterTool.fromArgs(args);
String host = parameterTool.get("host");
int port = parameterTool.getInt("port");
DataStreamSource<String> source = env.socketTextStream(host, port);
source.flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (s, collector) -> {
String[] words = s.split(" ");
for (String word : words) {
collector.collect(new Tuple2<>(word, 1));
}
}).returns(Types.TUPLE(Types.STRING, Types.INT)).keyBy(0).sum(1).print();
env.execute("Flink");
}
}
通过args参数传递host 和port,通过idea程序启动,将参数传递
nc -lk yourport
可以看到服务端来一个消息,flink接收一个消息
flink安装
官网下载gz
压缩
环境装有jdk1.8以上
flink安装bin目录启动start-cluster.sh
访问localhoost:8081
代表安装成功
在web ui提交任务
- 将之前idea代码packge打成jar包
- webUI 将jar包上传
- 添加相关启动类入口,程序参数,并行度
- 点击show plan 和submit按钮提交任务
最后在task managers监控可以看到结果输出
!!!如果当 submit提示出现服务器错误,查看job manager日志发现
排查 maven打包是否将启动类打包,如果打包了,还是出现该问题再maven pom文件添加
<build>
<plugins>
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.6.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.19</version>
<configuration>
<skip>true</skip>
</configuration>
</plugin>
</plugins>
</build>
最后重新 packge即可,提交
flink还有许多高级应用,需要后续自己钻研,先初步记录在此