Kafka学习(二)

一. 急速部署-Kafka相关环境准备和安装JDK8

1.1 需要的软件和环境版本说明

kafka-xx-yy:xx 是scala版本，yy是kafka版本（scala是基于jdk开发，需要安装jdk环境）
下载地址

zookeeper:Apache 软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册.
下载地址

JDK8

步骤：
1.上传安装包（zk、jdk、kafka）

2.安装jdk：

3.配置全局环境变量

4.解压：tar -zxvf jdk-8u181-linux-x64.tar.gz

5.重命名

6.vim /etc/profile

7.配置
JAVA_HOME=/usr/local/software/jdk1.8
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

8.环境变量立刻生效
source /etc/profile

9.查看安装情况 java -version

二. Linux环境下Zookeeper和Kafka安装启动

安装Zookeeper (默认2181端口)
默认配置文件 zoo.cfg
启动zk:bin/zkServer.sh start
安装Kafka (默认 9092端口)
config目录下 server.properties

#标识broker编号，集群中有多个broker，则每个broker的编号需要设置不同
broker.id=0
​
#修改下面两个配置 ( listeners 配置的ip和advertised.listeners相同时启动kafka会报错)
listeners(内网Ip)
advertised.listeners(公网ip)
​
​
#修改zk地址,默认地址
zookeeper.connection=localhost:2181

bin目录启动

#启动
./kafka-server-start.sh  ../config/server.properties &
​
#停止
kafka-server-stop.sh

创建topic

/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 1 --partitions 1 --topic xdclass-topic

查看topic

./kafka-topics.sh --list --zookeeper ip:2181

2.1 Linux环境下daemon守护进程运行Kafka

kafka如果直接启动信息会打印在控制台,如果关闭窗口，kafka随之关闭
守护进程方式启动

./kafka-server-start.sh -daemon ../config/server.properties &