python flink kafka_Flink-Kafka-Connector Flink结合Kafka实战

戳更多文章：

简介

Flink-kafka-connector用来做什么？

Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复

Kafka可以作为Flink的source和sink

任务失败，通过设置kafka的offset来恢复应用

kafka简单介绍

关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念。

1.生产者(Producer)

顾名思义，生产者就是生产消息的组件，它的主要工作就是源源不断地生产出消息，然后发送给消息队列。生产者可以向消息队列发送各种类型的消息，如狭义的字符串消息，也可以发送二进制消息。生产者是消息队列的数据源，只有通过生产者持续不断地向消息队列发送消息，消息队列才能不断处理消息。

2.消费者(Consumer)

所谓消费者，指的是不断消费(获取)消息的组件，它获取消息的来源就是消息队列(即Kafka本身)。换句话说，生产者不断向消息队列发送消息，而消费者则不断从消息队列中获取消息。

3.主题(Topic)

主题是Kafka中一个极为重要的概念。首先，主题是一个逻辑上的概念，它用于从逻辑上来归类与存储消息本身。多个生产者可以向一个Topic发送消息，同时也可以有多个消费者消费一个Topic中的消息。Topic还有分区和副本的概念。Topic与消息这两个概念之间密切相关，Kafka中的每一条消息都归属于某一个Topic，而一个Topic下面可以有任意数量的消息。

kafka简单操作

启动zk：nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动server: nohup bin/kafka-server-start.sh config/server.properties &

创建一个topic：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic：bin/kafka-topics.sh --list --zookeeper localh