Kafka安装

kafka的安装

前期准备：准备三台虚拟机，完成ssh免密登录配置以及确保zookeeper状态正常。

解压kafka压缩包

tar -zxvf 压缩包 -C 自己的安装目录

进入kafka目录创建logs文件夹

mkdir logs

修改config下的server.properties

#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=集群的kafka路径/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181

注意：broker.id不得重复，别的节点id=1，2…

配置环境变量（非root权限操作需要sudo命令，root无需）

sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使配置生效：

source /etc/profile

分发安装包

xsync kafka/

分发脚本

在/home/用户目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

修改脚本 xsync 具有执行权限:

chmod 777 xsync

注意：如果将xsync放到/home/用户名/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

启动集群（依次在各个节点上启动）

bin/kafka-server-start.sh -daemon config/server.properties

关闭集群

bin/kafka-server-stop.sh stop

查看当前服务器中的所有topic

bin/kafka-topics.sh --zookeeper hadoop02:2181 --list

创建topic

bin/kafka-topics.sh --create \
--replication-factor 3 \
--partitions 1 \
--zookeeper hadoop02:2181 \ 
--topic first

选项说明：

–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

删除topic

bin/kafka-topics.sh --delete \
--zookeeper hadoop02:2181 \
--topic first

发送消息

bin/kafka-console-producer.sh --broker-list hadoop02:9092 \
--topic first
>hello world
>atguigu  atguigu

消费消息

bin/kafka-console-consumer.sh \
--zookeeperhadoop02:2181 、
--topic first

查看某个Topic的详情

bin/kafka-topics.sh --describe \
--zookeeper hadoop02:2181 \
--topic first

修改分区数

bin/kafka-topics.sh --alter \
--zookeeper hadoop02:2181 \
--partitions 6 \
--topic first