Linux安装 kafka 详细步骤

一、安装JDK环境

1.1、下载jdk

jdk下载链接: http://www.jdkdownload.com/

1.2、上传jdk到linux

把下载好的jdk源码上传到/usr/local/java目录下

1.3、解压jdk

使用命令解压jdk的压缩包

tar -zxvf jdk-8u181-linux-x64.tar.gz 

解压完成

1.4、配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_181  #jdk安装目录

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

把上面几行配置到文件中

使用命令刷新文件

source /etc/profile

1.5、测试jdk安装是否成功

使用命令

java -version

出现版本即安装成功

二、安装Zookeper

2.1、下载安装包

zookeper下载链接: https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.9/

2.2、创建安装目录

#创建安装目录
mkdir -p /opt/zookeeper 
 
#移动到目录
cd /opt/zookeepe   

使用xftp上传zookeeper安装包

#解压缩
tar -zxvf zookeeper-3.4.14.tar.gz

2.3、修改配置

#移到配置目录
cd /opt/zookeeper/zookeeper-3.4.14/conf/
 
#复制配置文件
cp zoo_sample.cfg zoo.cfg
 
#修改及添加以下配置
tickTime=2000 
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zoodata
dataLogDir=/opt/zookeeper/zoodatalog
clientPort=2181
server.0=127.0.0.1:2888:3888
 
#多节点 集群
#server.1=127.0.0.1:4888:5888
#server.2=127.0.0.1:5888:6888

#配置说明
tickTime：客户端会话超时时间，默认2000毫秒。

initLimit：配置客户端初始化可接受多少个心跳监测，默认10，即10*tickTime(默认2000)，表示20s没有连接上集群的配置则连接失败。

syncLimit：配置Leader和follwer之间，允许多少个请求应答长度，默认5，即5*tickTime(默认2000)，表示默认10sLeader和Follwer之间如果消息5次没有发送成功就不尝试了。

dataDir：配置存储快照文件的目录。

dataLogDir：配置事务日志存储的目录。

clientPort：服务默认端口，默认2181。

server.X=A:B:C 其中X是一个数字，表示这是第几号server，A是该server所在的IP地址，B配置该server和集群中的leader交换消息所使用的端口，C配置选举leader时所使用的端口。

2.4、创建节点的myid：

#创建dataDir目录
mkdir -p /opt/zookeeper/zoodata
 
#移动到目录
cd /opt/zookeeper/zoodata
 
#把节点号写入myid文件(各个节点分别配置)
echo 0 > myid
 
#配置端口防火墙(各个节点分别配置)
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --reload

2.5、启动ZooKeeper

#移到执行目录
cd /opt/zookeeper/zookeeper-3.4.14/bin/
 
#启动服务
./zkServer.sh start

#重启
./zkServer.sh restart
 
#关闭
./zkServer.sh stop
 
#查看状态
./zkServer.sh staus
 
#启动的时候，查看后台信息
./zkServer.sh start-foreground &

客户端链接

./zkCli.sh

基本操作

#创建节点
create /test test1
 
#获取节点数据
get /test
 
#更新节点
set /test  test2
 
#删除节点
delete /test
 
#递归删除数据，将子目录的数据也删除掉
rmr /test 
 
#查看节点
ls / 
 
#查看输入过的命令
history

三、安装Kafka

3.1、下载kafka

kafka下载链接: https://kafka.apache.org/downloads

3.2、创建工作目录&启动

#创建目录
mkdir /opt/kafka

cd /opt/kafka

上传kafka的压缩包

tar -zxvf kafka_2.11-1.0.0.tgz

改个名称

mv kafka_2.11-1.0.0 kafka_2.11

cd kafka_2.11

#创个日志文件夹
mkdir logs

#修改配置文件
cd /opt/kafka/kafka_2.11/config

vim server.properties

# broker.id属性在kafka集群中必须要是唯一
broker.id=0
# kafka部署的机器ip和提供服务的端口号,切勿设0.0.0.0可能报错
listeners=PLAINTEXT://192.xxx.xx.xx:9092
# kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs
# kafka 连接 zookeeper 的地址
zookeeper.connect=192.xxx.xx.xx:2181

# 启动服务 , 运行的日志打印在 logs 目录里的server.log 里
# 后台启动，不会打印日志到控制台
1：bin/kafka‐server‐start.sh ‐daemon config/server.properties 
2：bin/kafka-server-start.sh config/server.properties &

# 启动成功后,可以进入zookeeper 查看kafka节点
bin/zk.Cli.sh
ls /

# 停止kafka 
bin/kafka‐server‐stop.sh

3.3、开启远程链接

vim config/server.properties

# 把下述配置注释
listeners=PLAINTEXT://:127.0.0.1:9092

# 配置下述内容
advertised.listeners=PLAINTEXT://127.0.0.1:9092

3.4、创建和查看topic

//创建
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
//查看
./bin/kafka-topics.sh --list --zookeeper localhost:2181

用Kafka的console-producer在topic test1 生产消息
新开一个xsehll窗口

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

用Kafka的console-consumer 消费topic test1的消息
新开一个shell窗口

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test1 --from-beginning