Kafka的安装和简单实例测试
一、安装kafka
前提:事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。
注:kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper.
1. 进入~/下载 目录,查看安装包是否存在
$>cd ~/下载
$>ls
2. 解压安装包到/usr/local下
$>sudo tar –zxf kafka_2.10-0.10.1.0.tgz –C /usr/local
3. 修改文件名和文件的拥有者
$> sudo mv kafka_2.10-0.10.1.0/ kafka
$>sudo chown -R hadoop:hadoop kafka/
进入测试前,需要了解一些关于kafka的相关核心概念知识。
1. Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker
2. Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
3. Partition
Partition是物理上的概念,每个Topic包含一个或多个Partition.
4. Producer
负责发布消息到Kafka broker
5. Consumer
消息消费者,向Kafka broker读取消息的客户端。
6. Consumer Group
每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)
二、简单实例测试
1. 新开一个终端,启动zookeeper
$>cd /usr/local/kafka/
$>./bin/zookeeper-server-start.shconfig/zookeep.properties
这个终端不能关闭,打开第一个终端,使用jps查看进程,看QuorumPeerMain进程(zookeeper)是否启动。
2. 另开一个终端,启动kafka服务
$>cd /usr/local/kafka/
$> ./bin/kafka-server-start.sh config/server.properties
这个终端也不能关闭,打开第一个终端,使用jps查看kafka进程是否启动成功。
3. 创建一个dblab的topic
cd /usr/local/kafka/
/usr/local/kafka$ ./bin/kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab
//这个topic叫dblab,2181是zookeeper默认的端口号,partition是topic里面的分区数,replication-factor是备份的数量,在kafka集群中使用,这里单机版就不用备份了
4. 查看dblab是否创建成功
./bin/kafka-topics.sh --list --zookeeper localhost:2181
5. 打开producer产生一些数据
$>/usr/local/kafka$./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab
在终端内输入以下内容:
hello hadoop
hello mao
haoop world
6. 新开一个终端,使用consumer来接受数据
$>cd /usr/local/kafka
$>./bin/kafka-console-consumer.sh --zookeeperlocalhost:2181 --topic dblab --from-beginning
使用该命令后,终端上会显示我们刚刚输入的英文单词。
详细步骤,包含实验步骤截图,word下载地址https://download.csdn.net/download/weixin_42006411/10485324