Flink cluster模式连接kafka并接收数据

最新推荐文章于 2024-01-19 08:35:48 发布
最新推荐文章于 2024-01-19 08:35:48 发布
阅读量599 收藏 2
点赞数 3
分类专栏： Flink 文章标签： flink kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43537957/article/details/115857517
版权

文章目录

环境准备：
CentOs 7
VM ware
jdk1.8.0_231
安装包：
flink-1.10.1-bin-scala_2.11.tgz
kafka_2.11-0.11.0.2.tgz
zookeeper-3.4.5-cdh5.3.6.tar.gz

1. Flink Standalone Cluster安装

1）Flink下载地址

http://archive.apache.org/dist/flink/flink-1.10.1/

2）在虚拟机中进行解压安装

[root@zyh001 software]# tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /zyh/

3）修改配置文件

在这里插入图片描述

[root@zyh001 conf]# vi flink-conf.yaml
在这里插入图片描述
[root@zyh001 conf]# vi masters
在这里插入图片描述
[root@zyh001 conf]# vi slaves
在这里插入图片描述

4）在bin目录下启动Flink

[root@zyh001 bin]# ./start-cluster.sh

5）查看启动节点，检查是否启动成功

[root@zyh001 bin]# jps
出现以上节点即启动成功
在这里插入图片描述

6）进入Flink的Web UI界面

输入网址：http://IP地址:8081/
在这里插入图片描述

7）测试Flink自带WordCount案例

[root@zyh001 flink-1.10.1]# cd examples/streaming/
在这里插入图片描述
[root@zyh001 bin]# vi input.txt
在bin目录下创建一个input.txt文件并输入单词
在这里插入图片描述
执行任务
[root@zyh001 bin]# ./flink run …/examples/streaming/WordCount.jar --input /zyh/flink-1.10.1/bin/input.txt --output /zyh/flink-1.10.1/bin/output.txt
在这里插入图片描述
查看结果：
[root@zyh001 bin]# cat output.txt
在这里插入图片描述

2. Zookeeper伪分布式安装

1）下载并解压安装zookeeper-3.4.5-cdh5.3.6

解压到指定目录
[root@zyh001 software]# tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz -C /zyh/

2）修改配置文件

①切换到zookeeper/conf目录下，复制模板配置文件
[root@zyh001 conf]# cp zoo_sample.cfg zoo1.cfg
②编辑zoo1.cfg配置文件
在这里插入图片描述
③复制zoo1.cfg配置文件并修改
[root@zyh001 conf]# cp zoo1.cfg zoo2.cfg
在这里插入图片描述
④复制zoo1.cfg配置文件并修改
[root@zyh001 conf]# cp zoo1.cfg zoo3.cfg
在这里插入图片描述

3）创建Zookeeper 保存数据的文件夹

在zookeeper目录下直接创建

[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# mkdir-p tmp/zk1
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# mkdir-p tmp/zk2
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# mkdir-p tmp/zk3
在这里插入图片描述

4）创建节点标识

在zookeeper/tmp目录下
[root@zyh001 tmp]# echo 1 > zk1/myid
[root@zyh001 tmp]# echo 2 > zk1/myid
[root@zyh001 tmp]# echo 3 > zk1/myid
查看是否写入成功
[root@zyh001 tmp]# cat zk1/myid
[root@zyh001 tmp]# cat zk2/myid
[root@zyh001 tmp]# cat zk3/myid
在这里插入图片描述

5）启动zookeeper

启动
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo1.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo2.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo3.cfg
(停止命令）
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh stop conf/zoo1.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh stop conf/zoo2.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh stop conf/zoo3.cfg

6）进行连接

连接其他zookeeper客户端
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkCli.sh -server 172.16.31.118:2181
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkCli.sh -server 172.16.31.118:2182
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkCli.sh -server 172.16.31.118:2183

7）查看启动状态

[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh status conf/zoo1.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh status conf/zoo2.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh status conf/zoo3.cfg
在这里插入图片描述

8）完成伪分布式搭建

3. Kafka单实例安装

kafka需要zookeeper集群

1）下载并解压安装kafka_2.11-0.11.0.2

[root@zyh001 software]# tar -zxvf kafka_2.11-0.11.0.2.tgz -C /zyh/

2）修改配置文件

在Kafka/config目录下
[root@zyh001 config]# vi server.properties
listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
在这里插入图片描述

3）启动Kafka

启动Kafka前需要先启动zookeeper
debug方式启动kakfa：
[root@zyh001 kafka_2.11-0.11.0.2]# bin/kafka-server-start.sh config/server.properties
在这里插入图片描述
守护进程的方式启动kafka：
[root@zyh001 kafka_2.11-0.11.0.2]# bin/kafka-server-start.sh -daemon config/server.properties
查看端口
[root@zyh001 kafka_2.11-0.11.0.2]# netstat -tnlp | grep java
在这里插入图片描述
停止：
[root@zyh001 kafka_2.11-0.11.0.2]# bin/kafka-server-stop.sh
kafka会在zookeeper里保存集群信息
在开启的zookeeper窗口查看：
[zk: 172.16.31.118:2181(CONNECTED) 0] ls /
在这里插入图片描述

4.测试Flink从Kafka中读取数据

1）Idea依赖配置

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.12</artifactId>
        <version>1.10.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.12</artifactId>
        <version>1.10.1</version>
	</dependency>
	<!--        调用Kafka和zookeeper依赖-->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
        <version>1.10.1</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <!-- 该插件用于将Scala代码编译成class文件 -->
        <plugin>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>4.4.0</version>
            <executions>
                <execution>
                    <!-- 声明绑定到maven的compile阶段 -->
                    <goals>
                        <goal>compile</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.3.0</version>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

2）测试代码在这里插入代码片

import java.util.Properties
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

object sourceTest {
  def main(args: Array[String]): Unit = {
    //创建执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
//从kafka中读取数据
    val properties = new Properties()
    properties.setProperty("bootstrap.servers","IP地址:9092")
    properties.setProperty("group.id","consumer-group")
    properties.setProperty("key.deserializer",
      "org.apache.kafka.common.serialization.StringDeserializer")
    properties.setProperty("value.deserializer",
      "org.apache.kafka.common.serialization.StringDeserializer")
    properties.setProperty("auto.offset.reset","latest")
    val stream3: DataStream[String] = env.addSource(new FlinkKafkaConsumer011[String]("sensor",
      new SimpleStringSchema(), properties))
    //进行扁平化，统计词汇
    val result: DataStream[(String, Int)] = stream3.flatMap(_.split(" "))
      .filter(_.nonEmpty)
      .map((_, 1))
      .keyBy(0) //分组
      .sum(1)
    result.print()
    env.execute("source test")
    }

3）启动Flink

[root@zyh001 bin]# ./start-cluster.sh

4）启动伪分布式Zookeeper

[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo1.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo2.cfg
[root@zyh001 zookeeper-3.4.5-cdh5.3.6]# bin/zkServer.sh start conf/zoo3.cfg

5）启动单例模式Kafka

开启服务（daemon)
[root@zyh001 kafka_2.11-0.11.0.2]# bin/kafka-server-start.sh -daemon config/server.properties
做测试，创建生产者
[root@zyh001 kafka_2.11-0.11.0.2]# bin/kafka-console-producer.sh --broker-list zyh001:9092 --topic sensor

6）在idea中启动程序

7）在kafka中输入数据

在这里插入图片描述

8）idea中接收到数据

在这里插入图片描述

听秋风乍起流云
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
插曲：Kafka的集群部署实践及运维相关
芒果不是程序猿v：lemon-hanwa 的博客
11-22 267
前言 上一篇 Kafka 的文章 --- 插曲：大白话带你认识Kafka 中我们应该已经了解了一些关于基础角色和集群架构相关的问题，这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具，所以就应运而生了下文，配图基本没有， 一、Kafka的生产集群部署 1.1 方案背景 假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。 使用二八...
看完这篇Kafka，你也许就会了Kafka
热门推荐
AaronCao
01-13 16万+
Kafka学习 文章目录Kafka学习1. Kafka简介1.1 Kafka消费模式1.2 Kafka的基础架构1.3 Kafka的安装和使用2. Kafka高级2.1 工作流程2.2 文件存储2.3 生产者分区策略2.4 生产者ISR2.4.1 副本数据同步策略2.4.2 ISR(同步副本集)2.5 生产者ack机制2.6 数据一致性问题2.7 ExactlyOnce3. 消费者分区分配策略3.1 分区分配策略3.2 消费者offset的存储3.3 消费者组案例4. 高效读写&Zookeeper作
大数据-kafka学习笔记
weixin_52938172的博客
09-19 2556
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
Kafka知识整理
qq_47741012的博客
09-26 210
Kafka-Zk架构的元数据存储在zookeeper中，运行时动态选举controller，由controller进行Kafka集群的管理。Kafka-Kraft架构上移除了zk的依赖，用三台controller节点代替zk集群，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。/** 返回信息对应的分区* @param topic 主题* @param key 消息的 key。
flink订阅（读取）kafka的数据
最新发布
m0_66520412的博客
01-19 530
kafka-console-consumer.sh --bootstrap-server bigdata1:9092 --from-beginning --topic 主题名称。这个会以逗号进行分割，分割成数组，要以数组的方式进行读取，上图的红色数字是数组的索引，就像我上面代码中‘data(0)’这个代表我要读取索引为0的元素。②所写的代码是只读取最新的流数据，所以要让kafka主题里的数据一直生成，那样才能读取到数据。
Flink读取Kafka
鸟人的博客
07-11 3086
在流式处理中，Flink经常会从Kafka读取流数据，这也是应用最为广泛的组合，Kafka源源不断的想Flink输送数据，Flink处理数据在输送给各种数据库，下面来看看Flink是如何读取Kafka的数据的吧在开始之前需要安装Kafka并启动一个生产者生产数据，具体可以参考这两篇文章Windows Kafka配置Linux Kafka配置 配置好后就可以编写代码了添加FlinkKafka依赖，其他依赖配置请看FLINK -1 代码 还是同样的流程：创建流式环境—》获取数据源—》处理数据—》写出数据 启动函
4.3、Flink任务怎样读取Kafka中的数据
向热爱自己一样，热爱这个世界。
08-11 5239
flink1.17 读取kafka 数据
Flink1.14学习测试:接收kafka消息将结构化数据通过JDBC保存到数据库中
LmingAn的博客
07-15 1833
Flink1.14 kafka 结构化数据 通过jdbc连接 保存到目标数据表
网站日志实时分析（一）：flume+kafka+Flink连通
weixin_43272605的博客
03-02 7254
这里flume+kafka+Flink Cluster总体架构就是这个样子。 我们将多个Tomcat Server的Web服务器，或者其他的网站服务器都看你而定，没台节点上都配置了Flume Agent，用来收集本地日志目录。然后在另一台节点配置了Flume Consolidation Agent，用来收集各个Web服务器的Flume Agent的数据，然后送入Kafka Cluster。然后K...
flink连接kafka
01-20
1.启动zookeeper 在cmd中输入zkserver，成功启动页面 如下： org.apache.maven.plugins maven-compiler-... org.apache.flink flink-java ${flink.version} compile o
flink-connector-kafka-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-...
flink-connector-kafka-2.12-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar； 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar； 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar； 赠送Maven依赖信息文件：...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
Flink读取数据的5种方式（文件，Socket，Kafka，MySQL，自定义数据源）
冀辉的博客
06-30 3803
当需要对Flink进行一些性能测试时，可以使用自定义数据源来简化测试过程。Flink支持自定义数据源，可以使用循环生成所需要格式的测试数据，使用方式非常灵活。运行程序后，会产生源源不断的数据。
2.1、如何在FlinkSQL中读取&写入到Kafka
向热爱自己一样，热爱这个世界。
10-11 5983
使用 flinksql读取、写入kafka
Flink学习13：Flink外接kafka数据源
hzp666的博客
08-09 3343
borker即是kafka集群的每台机器Topic是一类数据的集合。
Flink接收kafka source数据
程序园@大Null
05-21 946
前期准备好kafka环境，我这里是1.12.0版本的Flink，Kafka对应版本官方推荐2.4.1，Scala版本2.12 在kafka目录下启动zookeeper（我这里用的是kafka自带的） ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 启动kafka ./bin/kafka-server-start.sh -daemon config/server.properties 别忘了添加Kafka连接
Flink从Kafka读取数据
popping_w的博客
08-22 5391
Flink从Kafka读取数据 1、环境搭建，hadoop集群、zookeeper、kafka 2、IDEA程序编写+配置依赖 在IDEA中添加kafka配置依赖： Apache Flink 附带了一个通用的 Kafka 连接器，它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。现代 Kafka 客户端向后兼容代理版本 0.10.0 或更高版本。关于Kafka兼容性的详细信息，请参考Kafka官方文档。 <dependency> <gro
flink sql 连接kafka连接器参数
06-15
连接 Kafka 的 Flink SQL 连接器参数通常包括以下几个方面： 1. Kafka 的连接信息，包括 Kafka 的地址和端口号。 2. Kafka 的主题名称。 3. 序列化和反序列化方式，比如 JSON、Avro 等。 4. 消费组 ID，用于标识消费者。 5. 开始消费的位置，可以是最早、最新或者指定偏移量。 6. 其他参数，比如连接超时时间、心跳间隔等。 下面是一个示例连接器参数： ``` CREATE TABLE my_table ( id INT, name STRING, age INT ) WITH ( 'connector' = 'kafka', 'topic' = 'my_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'properties.group.id' = 'my_group', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json', 'json.timestamp-format.standard' = 'ISO-8601' ) ``` 其中，'connector' 指定了连接器类型为 Kafka； 'topic' 指定了消费的主题名称； 'properties.bootstrap.servers' 指定了 Kafka 的地址和端口号； 'properties.group.id' 指定了消费者组 ID； 'scan.startup.mode' 指定了从哪个位置开始消费； 'format' 指定了序列化和反序列化方式为 JSON； 'json.timestamp-format.standard' 指定了时间戳格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值