Kafka入门


1.安装与启动

1.1 zookeeper安装

Kafka需要依赖Zookeeper才能运行。

1)登录主机,执行以下命令,下载并解压Zookeeper

$ cd /opt
$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 
$ gzip -d zookeeper-3.4.6.tar.gz 
$ tar -xvf zookeeper-3.4.6.tar

(2)进入conf目录,将示例的配置文件zoo_sample.cfg改名为zoo.cfg,作为我们的配置文件使用,命令如下

$ cd zookeeper-3.4.6/conf
$ mv zoo_sample.cfg zoo.cfg

(3)进入bin目录,执行zkServer.sh的start命令启动Zookeeper服务

$ cd ..
$ cd bin
$ ./zkServer.sh start

(4)提示以下内容,启动成功

JMX enabled by default
Using config: /opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

这时我们以默认的配置启动了Zookeeper服务,使用的是2181端口。

有关Zookeeper的相关知识,这里不做赘述。

1.2  Kafka的安装与启动

(1)登录主机,执行以下命令,下载并解压Kafka

$ cd /opt
$ wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
$ gtar xvzf kafka_2.11-0.9.0.1.tgz

(2)修改kafka_2.11-0.9.0.1/config目录下的server.properties文件,找到zookeeper.connect一项,修改为tc-host的地址,如下:

zookeeper.connect=localhost:2181

注意,默认是访问本机上部署的Zookeeper,由于我们是将zookeeper部署在另一台主机上,所以要修改地址。

(3)执行bin目录下的kafka-server-start.sh命令启动Kafka,以server.properties文件作为参数,启动Kafka

$ cd kafka_2.11-0.9.0.1
$ ./bin/kafka-server-start.sh ./config/server.properties &

命令后面的&符号是将启动的Kafka服务设置为后台进程,方便我们进一步的操作。

终端输出一系列的日志以后,启动成功。

......
[2016-05-25 19:53:06,410] INFO Registered broker 0 at path /brokers/ids/0 with addresses: PLAINTEXT -> EndPoint(tc-newhost.office.mos,9092,PLAINTEXT) (kafka.utils.ZkUtils)
[2016-05-25 19:53:06,423] INFO Kafka version : 0.9.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2016-05-25 19:53:06,423] INFO Kafka commitId : 23c69d62a0cabf06 (org.apache.kafka.common.utils.AppInfoParser)
[2016-05-25 19:53:06,424] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
[2016-05-25 19:53:06,713] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions [test,0],[test2,0],[tes,0] (kafka.server.ReplicaFetcherManager)
[2016-05-25 19:53:06,763] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions [test,0],[test2,0],[tes,0] (kafka.server.ReplicaFetcherManager)

1.3 简单功能验证

Kafka成功启动后,可以通过一些简单的命令来验证一下功能。

(1)创建一个名为test的topic

$./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

(2)查询topic的属性

$./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

(3)生产者连接broker发送消息

$./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hello

在终端执行该命令后,会进入到一个连续输入的状态,输入一条消息后,按回车换行,可以直接输入下一条消息,直到按下Control+C结束这个状态。

(4)消费者获取消息

$./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test
hello

消费者获取消息成功,至此,说明一个基本的Kafka环境安装并启动成功了。

1.4  启动命令与配置文件

$./bin/kafka-server-start.sh ./config/server.properties &

启动命令是以配置文件为参数,按照相关的配置来启动的。server.properties是默认的配置文件,几个比较常用的配置项包括:

(1)broker.id  broker的id号

(2)port  端口

(3)zookeeper.connect  zookeeper的连接地址

(4)log.dirs  日志的目录

1.5  topic相关的参数与返回信息

上文在演示topic相关的命令时,输入与输出如下:

$./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
$./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
 Topic:test PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

create命令的replication-factor是设置该topic在多少个broker上存储。

describe命令的返回信息中,罗列了所有partition的信息,其中:

(1)Partition是编号

(2)Leader是一个broker的编号,该broker存储了当前partition,并且被选举为broker列表中的Leader。在Kafka中,只有Leader节点会负责消息的读和写,其他broker只是做备份

(3)Replicas是存储了该partition的broker列表

(4)Isr是当前可用的broker列表


2.Kafka文件存储机制

参考:http://tech.meituan.com/kafka-fs-design-theory.html

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值