kafka安装与基础

本文属于实操本人亲测若有雷同，请包涵。

先学习安装使用kafka，后续文章完善关于kafka的概念，便于加深对概念的理解

使用kafka版本：

kafka：kafka_2.11-2.3.0.tgz

下载链接：

链接：https://pan.baidu.com/s/1B7NV-kceEuTM55GV2gyT7Q

提取码：u7ob

 

前期准备：

JDK：1.8（必须）

Zookeeper：3.4.9（可变更，此为本机版本）

由于本人使用scala使用2.11所以使用kafka的2.11版本，便于windows后续编辑kafka代码，方便测试。

本人配置使用集群模式，更好的理解关于kafka的使用，单机模式的请自行测试。

 

备注：服务器使用：

192.168.44.101（h101）

192.168.44.102（h102）

192.168.44.103（h103）

192.168.44.104（h104）

前期：h101、h102、h103安装zookeeper集群

后续将kafka集群安装到h102、h103、h104集群上

 

安装kafka

1、检查jdk版本

2、分别传输文件、解压文件kafka_2.11-2.3.0.tgz到h102、h103、h104三个服务器上

$>tar -zxvf kafka_2.11-2.3.0.tgz 

备注：一次在三个服务器上解压kafka安装包

 

3、配置kafka

    以h102为例：

  1>设置节点id   

 

    2>服务器监听者的地址

    3>日志路径

    4>zk集群地址

 

备注：h103,h104处理第一条分别为103,104,其余均一致（日志可根据自身灵活设置）

配置示例下载：

链接：https://pan.baidu.com/s/12va16hb5EjG1Dei-fzOQLg

提取码：kjj0 

 

4、创建链接，方便后续使用

进入soft目录下创建链接

更新链接（本地存在kafka的超链接）

$>sudo ln -snf /home/hadoop/kafka/kafka_2.11-2.3.0 kafka 

创建链接

$>sudo ln -s /home/hadoop/kafka/kafka_2.11-2.3.0 kafka 

 

5、启动kafka集群，需先启动zk集群
1>启动h101、h102、h103上的zk集群

2>查看zk的启动情况

 

3>h102 、h103 、h104启动kafka服务器（brokers）

 

 

查看kafka的启动情况

$>netstat -ano | grep 9092

 

若报错可查看日志目录下的server.log文件查看报错原因

备注：出现以上情况基本表明kafka集群启动成功

测试kafka集群

查看zk集群的客户端：

备注：此时就是开始设置的不同服务器的broker.id的对应的数据

 

生产者消费者测试：

1>创建主题：

$>kafka-topics.sh --create --zookeeper h101:2181 --replication-factor 2 --partitions 3 --topic kfktestone

(replication-factor  (副本数)   partitions(分区)  topic（主题名）)

    查看主题列表：

    $>kafka-topics.sh --list --zookeeper h101:2181

 

2>启动控制台生产者

$>kafka-console-producer.sh --broker-list h102:9092 --topic kfktestone

 

备注：此时命令行进入待命状态，不要做别的操作 

3>启动控制台消费者 (可新建一个h102连接，或是在h103,h104上均可)

$>kafka-console-consumer.sh --bootstrap-server h102:9092 --topic kfktestone --from-beginning

备注：此时命令行进入待命状态，不要做别的操作 

4>：在生产者输入 hello kafka 会发现消费者获取到数据

生产者：

消费者：

备注：出现此类情况几乎代表kafka集群搭建成功。

本人公众号：技术攀登，欢迎大家关注，文章不断更新中