kafka的安装及简单的实例测试

　　Kafka的安装和简单实例测试

　　一、安装kafka

　　前提：事先将kafka_2.10-0.10.1.0.tgz安装包放入到~/下载目录下。

　　注：kafka的使用依赖zookeeper,安装kafka前必须先安装zookeeper, 下载稳定版本0.10.1.0的kafka.此安装包内已经附带zookeeper,不需要额外安装zookeeper.

　　1. 进入~/下载 目录，查看安装包是否存在

　　$>cd ~/下载

　　$>ls

　　2. 解压安装包到/usr/local下

　　$>sudo tar –zxf kafka_2.10-0.10.1.0.tgz –C /usr/local

　　3. 修改文件名和文件的拥有者

　　$> sudo mv kafka_2.10-0.10.1.0/ kafka

　　$>sudo chown -R hadoop:hadoop kafka/

　　进入测试前，需要了解一些关于kafka的相关核心概念知识。

　　1. Broker

　　Kafka集群包含一个或多个服务器，这种服务器被称为broker

　　2. Topic

　　每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

　　3. Partition

　　Partition是物理上的概念，每个Topic包含一个或多个Partition.

　　4. Producer

　　负责发布消息到Kafka broker

　　5. Consumer

　　消息消费者，向Kafka broker读取消息的客户端。

　　6. Consumer Group

　　每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name，若不指定group name则属于默认的group)

　　二、简单实例测试

　　1. 新开一个终端，启动zookeeper

　　$>cd /usr/local/kafka/

　　$>./bin/zookeeper-server-start.shconfig/zookeep.properties

　　这个终端不能关闭，打开第一个终端，使用jps查看进程，看QuorumPeerMain进程(zookeeper)是否启动。

　　2. 另开一个终端，启动kafka服务

　　$>cd /usr/local/kafka/

　　$> ./bin/kafka-server-start.sh config/server.properties

　　这个终端也不能关闭，打开第一个终端，使用jps查看kafka进程是否启动成功。

　　3. 创建一个dblab的topic

　　cd /usr/local/kafka/

　　/usr/local/kafka$ ./bin/kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

　　//这个topic叫dblab，2181是zookeeper默认的端口号，partition是topic里面的分区数，replication-factor是备份的数量，在kafka集群中使用，这里单机版就不用备份了

　　4. 查看dblab是否创建成功

　　./bin/kafka-topics.sh --list --zookeeper localhost:2181

　　5. 打开producer产生一些数据

　　$>/usr/local/kafka$./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

　　在终端内输入以下内容：

　　hello hadoop

　　hello mao

　　haoop world

　　6. 新开一个终端，使用consumer来接受数据

　　$>cd /usr/local/kafka

　　$>./bin/kafka-console-consumer.sh --zookeeperlocalhost:2181 --topic dblab --from-beginning

　　使用该命令后，终端上会显示我们刚刚输入的英文单词。

大数据免费课程请点击【大数据课程】免费学习更多资料请联系我哦

转载于:https://my.oschina.net/u/3445485/blog/1832635