kafka快速入门

官方文档

kafka

kafka基本命令

1. 创建kafka topics

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myTopics

2. 查询所有topics信息

./kafka-topics.sh --zookeeper localhost:2181 --list

3. 查看指定topic信息

./kafka-topics.sh --zookeeper localhost:2181 --describe --topic myTopics

3.控制台向topic生产数据

./kafka-console-producer.sh --broker-list localhost:9092 --topic myTopics

4. 控制台消费topic的数据

./kafka-console-consumer.sh  --zookeeper localhost:2181  --topic myTopics --from-beginning

5. 查看topic某分区偏移量最大（小）值

./kafka-run-class.sh kafka.tools.GetOffsetShell --topic myTopics  --time -1 --broker-list localhost:9092 --partitions 0

注意： time为-1时表示最大值，time为-2时表示最小值

6. 增加topic分区数

./kafka-topics.sh --zookeeper localhost:2181  --alter --topic myTopics --partitions 10

7. 删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper node01:2181 --topic myTopics

8. 查看topic消费进度(执行失败，暂时不用)

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv

kafka设置多代理集群

为每个代理创建一个配置文件

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

启动kafka代理集群

./kafka-server-start.sh config/server-1.properties &

./kafka-server-start.sh config/server-2.properties &

现在创建一个副本为3的新topic：

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

现在我们有一个集群，但是我们怎么才能知道那些代理在做什么呢？运行"describe topics"命令来查看：

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

发表一些信息给我们的新topic：

./kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

消费这些消息:

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

我们来测试一下容错性。 Broker0 现在是 leader，让我们来杀了它：

ps aux | grep server.properties

kill -9 pid

领导权已经切换到一个从属节点，而且节点0也不在同步副本集中了：

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

即便原先写入消息的leader已经不在，这些消息仍可用于消费：

./kafka-console-consumer.sh  --zookeeper localhost:2181  --topic myTopics --from-beginning

#使用Kafka Connect来导入/导出数据
测试文件

echo -e "foo\nbar" > test.txt

启动两个standalone（独立）运行的连接器，这意味着它们各自运行在一个单独的本地专用 进程上。 我们提供三个配置文件。首先是Kafka Connect的配置文件，包含常用的配置，如Kafka brokers连接方式和数据的序列化格式。 其余的配置文件均指定一个要创建的连接器。这些文件包括连接器的唯一名称，类的实例，以及其他连接器所需的配置。

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

这些包含在Kafka中的示例配置文件使用您之前启动的默认本地群集配置，并创建两个连接器： 第一个是源连接器，用于从输入文件读取行，并将其输入到 Kafka topic。 第二个是接收器连接器，它从Kafka topic中读取消息，并在输出文件中生成一行。

---

在启动过程中，你会看到一些日志消息，包括一些连接器正在实例化的指示。 一旦Kafka Connect进程启动，源连接器就开始从 test.txt 读取行并且 将它们生产到主题 connect-test 中，同时接收器连接器也开始从主题 connect-test 中读取消息， 并将它们写入文件 test.sink.txt 中。我们可以通过检查输出文件的内容来验证数据是否已通过整个pipeline进行交付：

> more test.sink.txt
foo
bar