Kafka的安装和简单实例测试

Kafka的安装和简单实例测试

一、安装kafka

前提：事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。

注：kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper.

1.     进入~/下载  目录，查看安装包是否存在

$>cd ~/下载

$>ls

2.     解压安装包到/usr/local下

$>sudo tar –zxf kafka_2.10-0.10.1.0.tgz –C /usr/local

3.     修改文件名和文件的拥有者

$> sudo mv kafka_2.10-0.10.1.0/ kafka

$>sudo chown -R hadoop:hadoop kafka/

进入测试前，需要了解一些关于kafka的相关核心概念知识。

1. Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

2. Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

3. Partition

Partition是物理上的概念，每个Topic包含一个或多个Partition.

4. Producer

负责发布消息到Kafka broker

5. Consumer

消息消费者，向Kafka broker读取消息的客户端。

6. Consumer Group

每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

二、简单实例测试

1.     新开一个终端，启动zookeeper

$>cd /usr/local/kafka/

$>./bin/zookeeper-server-start.shconfig/zookeep.properties

这个终端不能关闭，打开第一个终端，使用jps查看进程，看QuorumPeerMain进程(zookeeper)是否启动。

2.     另开一个终端，启动kafka服务

$>cd /usr/local/kafka/

$> ./bin/kafka-server-start.sh config/server.properties

 

这个终端也不能关闭，打开第一个终端，使用jps查看kafka进程是否启动成功。

3.     创建一个dblab的topic

cd /usr/local/kafka/

/usr/local/kafka$ ./bin/kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

//这个topic叫dblab，2181是zookeeper默认的端口号，partition是topic里面的分区数，replication-factor是备份的数量，在kafka集群中使用，这里单机版就不用备份了

4.     查看dblab是否创建成功

./bin/kafka-topics.sh --list --zookeeper localhost:2181

5.     打开producer产生一些数据

$>/usr/local/kafka$./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

在终端内输入以下内容：

hello hadoop

hello mao

haoop world

6.     新开一个终端，使用consumer来接受数据

$>cd /usr/local/kafka

$>./bin/kafka-console-consumer.sh --zookeeperlocalhost:2181 --topic dblab --from-beginning

使用该命令后，终端上会显示我们刚刚输入的英文单词。

详细步骤，包含实验步骤截图，word下载地址https://download.csdn.net/download/weixin_42006411/10485324