Flink 读取Kafka数据示例

最新推荐文章于 2024-08-18 22:16:18 发布

小太哥哥不会写博客

最新推荐文章于 2024-08-18 22:16:18 发布

阅读量3.3w

点赞数 9

本文链接：https://blog.csdn.net/weixin_41939278/article/details/82803773

版权

本文演示如何使用Apache Flink从Kafka实时读取消息，每隔10秒统计机器内存，并将结果写入本地。环境包括Kafka 0.11.0.0和Flink 1.3.2，代码用Maven构建并在Windows本地运行。主要代码包括Flink的MessageSplitter、MessageWaterEmitter和KafkaMessageStreaming，以及KafkaProducerTest和MemoryUsageExtrator。

摘要由CSDN通过智能技术生成

1、目标

本例模拟中将集成Kafka与Flink：Flink实时从Kafka中获取消息，每隔10秒去统计机器当前可用的内存数并将结果写入到本地文件中或者打印出来。

2、环境

Apache Kafka 0.11.0.0

Apache Flink 1.3.2

Maven 3.5.3

本例运行在Windows环境本地，使用idea开发代码，代码进行的是本地测试，没有跑在flink集群上，参考博客中是跑在flink集群上，而且flink集群是以local模式启动的。

Maven工程完整pom文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>flinktest</groupId>
    <artifactId>flinktest</artifactId>
    <version>1.0-SNAPSHOT</version>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>



            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.1.0</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.ink.FlinkLambdaTest.FlinkToLambda</mainClass>
                                </transformer>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                            </transformers>
                            <relocations>
                                <relocation>
                                    <pattern>org.codehaus.plexus.util</pattern>
                                    <shadedP