Kafka学习记录二：快速入门

Kafka快速入门

步骤一：下载

点击 下载 并且解压。

> tar -xzf kafka_2.11-2.0.0.tgz
> cd kafka_2.11-2.0.0

压缩包的命名格式为：kafka_version1_version2.tgz，其中
version1是Scala的版本
version2是Kafka的版本

步骤二：启动服务器

Kafka使用ZooKeeper,所以需要先启动一个ZooKeeper服务器，如果没有Zookeeper服务器，则可以先使用与Kafka一起打包的便捷的单节点ZooKeeper实例。

> bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

然后启动Kafka服务器

> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...

步骤三：创建一个Topic（主题）

创建一个名为“test”的主题在单一分区并且只有一份复制

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

如果需要查看这个主题，可以运行列出主题的命令

> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

你也可以将(broker)代理配置为在发布不存在的主题时自动创建主题，而不是手动创建主题。

步骤四：发送一些消息

Kafka附带一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。 默认情况下，每行将作为单独的消息发送。
运行生产者，然后在控制台中键入一些消息以发送到服务器。

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

步骤五：启动消费者

Kafka还有一个消费者命令行工具，它会将消息转发到标准输出。

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

如果在不同的终端中运行上述每个命令，那么现在应该能够在生产者终端中键入消息并看到它们出现在消费者终端中。

所有命令行工具都有其他选项; 运行不带参数的命令将显示更详细的使用信息。

步骤六：设置一个多代理（multi-broker）集群

对于Kafka来说，单个代理（broker）就是大小为一的集群，因此多代理除了启动多个代理（broker）实例外其实没什么打的区别。现在扩展集群为3个节点（仍然在本机上）。
首先为每一个broker复制一个配置文件

> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties

然后按照如下的属性配置新生成的文件

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dirs=/tmp/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dirs=/tmp/kafka-logs-2

属性broker.id是集群中每一个节点唯一且永久的名字。我们需要覆盖端口和日志目录，因为我们在在同一台机子上运行这些，并且我们想要保持brokers都尝试去注册在同一个端口或覆盖彼此的数据。

我们已经启动了这ZooKeeper和我们单个的节点，所以我们现在只需要启动两个新的节点：

> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
...

创建一个复制因子为3的新主题：

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

现在可以通过运行“describe topics”命令去查看集群中的哪个broker正在做什么。

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

对输出进行说明。第一行给出了所有分区的摘要，后面每一行都是有关一个分区的信息。因为我们在这个主题中只有一个分区，因此这里只有一行。

• “leader"(领导者)是负责给定分区内所有读和写操作的节点。每一个节点都将成为分区中被随机选择部分的领导者。
• ”replicas“(副本)：复制此分区日志的节点数列表，不管节点是否为领导者节点，或者即使他们现在处于存活状态。
• ”isr”(即in-sync同步)：是“同步”副本的集合。这是副本列表的子集，该列表当前处于存活状态并且被领导者所捕获的。

注意在这个例子中，节点1是主题唯一分区的领导者。

我们能够运行相同的命令查看我们最初所创建的那个Topic：

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test  PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

最初的Topic没有副本，位于服务器0上，是我们创建该Topic时集群中唯一的服务器。

发布一些数据到新的topic中：

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
...
my test message 1
my test message 2
^C

然后消费这些消息：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C

然后测试容错性。因为Broker 1 现在作为leader，所以现在杀掉这个进程。

> ps aux | grep server-1.properties
7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.8/Home/bin/java...
> kill -9 7564

领导者已切换到其中一个从属节点，节点1不再位于同步副本集中：

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 2   Replicas: 1,2,0 Isr: 2,0

但是即使最初接受写入的领导者已经失败，这些消息仍可供消费：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C

步骤七：使用Kafka链接去导入/导出数据

如果想要使用其他来源的数据或者想要导出Kafka中的数据到其他系统中。可以使用Kafka Connect。
Kafka Connect是一个Kafka自带的工具，用于向Kafka导入和导出数据。它是一个可扩展的工具，运行连接器，实现与外部系统交互的自定义逻辑。 在本快速入门中，我们将了解如何使用简单的连接器运行Kafka Connect，这些连接器将数据从文件导入Kafka主题并将数据从Kafka主题导出到文件。

首先，我们将首先创建一些示例数据进行测试：

> echo -e "foo\nbar" > test.txt

接下来，我们将启动两个以独立模式运行的连接器，这意味着它们在单个本地专用进程中运行。 我们提供三个配置文件作为参数。 第一个始终是Kafka Connect流程的配置，包含常见配置，例如要连接的Kafka broker和数据的序列化格式。 其余配置文件均指定要创建的连接器。 这些文件包括唯一的连接器名称，要实例化的连接器类以及连接器所需的任何其他配置。

> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

Kafka附带的这些示例配置文件使用之前启动的默认的本地群集配置并创建两个连接器：第一个是源连接器，它从输入文件读取行并生成每个Kafka主题，第二个是数据落地连接器，用于从Kafka主题读取消息并将每个消息生成为输出文件中的一行。
在启动过程中，将看到许多日志消息，包括一些指示正在实例化连接器的日志消息。 一旦Kafka Connect进程启动，源连接器应该开始从test.txt读取行并将它们生成主题connect-test，并且接收器连接器应该开始从主题connect-test读取消息并将它们写入文件test.sink.txt。 我们可以通过检查输出文件的内容来验证数据是否已通过整个管道传递：

> more test.sink.txt
foo
bar

注意，数据存储在Kafka主题connect-test中，因此我们还可以运行控制台使用者来查看主题中的数据（或使用自定义消费者代码来处理它）：

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}
...

连接器继续处理数据，因此我们可以将数据添加到文件中并看到它在管道中移动：

> echo Another line>> test.txt

然后应该看到该行出现在控制台使用者输出和接收器文件中。

步骤八：用Kafka Streams处理数据

Kafka Streams是一个用于构建关键型实时应用程序和为符合的客户端库，其中输入 和/或 输出数据是存储在Kafka激情中。Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简单性以及Kafka服务器端集群技术的优势，是这些应用程序具有高度的可扩展性，弹性，容错性，分布式等等。可以点击快速入门例子查看怎么运行在此库中的流应用程序。