第二章 ——Kafka环境搭建&Topic管理

环境搭建-单机

• 安装JDK1.8+，配置JAVA_HOME（CentOS 6.10 64bit）
• 配置主机名和IP映射
• 关闭防火墙&防火墙开机自启动
• 安装&启动Zookeeper
• 安装&启动|关闭Kafka

环境搭建-集群

• 安装JDK，配置JAVA_HOME（CentOS 6.10 64bit）
• 配置主机名和IP映射
• 关闭防火墙&防火墙开机自启动
• 同步时钟 ntpate cn.pool.ntp.org | ntp[1-7].aliyun.com
• 安装&启动Zookeeper
• 安装&启动|关闭Kafka

对要用到的一些命令做了一个汇总

ifconfig查看ip
rpm -qa| grep jdk 查看是否安装jdk
rpm -ivh jdk
su 切换超级用户 su baskbull
rpm -e ·rpm -qa | grep jdk· 卸载
rpm -e --nodeps  `rpm -qa|grep jdk`

jps 看是否识别java
ls -l /usr/java
vim .bashrc
JAVA_HOME=/usr/java/latest
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH
source $JAVA_HOME
echo $JAVA_HOME 检验配置是否成功
cat /etc/sysconfig/network
reboot 生效
vi /etc/hosts 添加主机名和ip的映射

---关闭防火墙
service iptables status 查看防火墙状态
service iptables stop
chkconfig iptables off 关闭防火墙开机自启动
chkconfig --list 查看哪些开机自启动

---解压zooKeeper
tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
cd /usr/zookeeper-3.4.6
ls conf/
cp conf/zoo_sample.cfg conf/zoo.cfg

./bin/zkServer.sh
./bin/zkServer.sh start zoo.cfg
./bin/zkServer.sh status zoo.cfg

---解压kafka
tar -zxf kafka_2.11-2.2.0.tgz -C /usr/
vi config/server.properties  --配置MQ服务
./bin/kafka-server-start.sh -daemon config/server.properties  --以守护线程执行
./bin/kafka-server-stop.sh 
./bin/kafka-topics.sh --help
./bin/kafka-topics.sh --bootstrap-server kafka:9092 --create --topic topic01 --partitions 3 --replication-factor 1
./bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic topic01 --group group1

另起一个
./bin/kafka-console-producer.sh --broker-list kafka:9092 --topic topic01

shutdown -h now

上面代表zookeeper启动成功

vi /etc/hosts
scp /etc/hosts kafkaB:/etc/

ntpdate ntp1.aliyun.com
clock -w

配置zkConfig
scp -r /usr/zookeeper-3.4.6 kafkaB:/usr/
scp -r /usr/zookeeper-3.4.6 kafkaC:/usr/

--定向
echo 1 > /root/zkdata/myid

tar -zxf kafka_2.11-2.2.0.tgz 

Topic管理

启动kafka
--查看
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --create --topic topic01 --partitions 3 --replication-factor 2
--创建
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --list
--查看详情
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --describe --topic topic01

topic分区partitions只能增 不能减

消费者订阅
./bin/kafka-console-consumer.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --topic topic01 --group g1 
--property print.key=true 
--property print.vlaue=true 
--property key.separator=,

--生产者
./bin/kafka-console-producer.sh --broker-list kafkaA:9092,kafkaB:9092,kafkaC:9092 --topic topic01

--消费者组
./bin/kafka-consumer-groups.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --list