环境搭建-单机
- 安装JDK1.8+,配置JAVA_HOME(CentOS 6.10 64bit)
- 配置主机名和IP映射
- 关闭防火墙&防火墙开机自启动
- 安装&启动Zookeeper
- 安装&启动|关闭Kafka
环境搭建-集群
- 安装JDK,配置JAVA_HOME(CentOS 6.10 64bit)
- 配置主机名和IP映射
- 关闭防火墙&防火墙开机自启动
- 同步时钟 ntpate cn.pool.ntp.org | ntp[1-7].aliyun.com
- 安装&启动Zookeeper
- 安装&启动|关闭Kafka
对要用到的一些命令做了一个汇总
ifconfig查看ip
rpm -qa| grep jdk 查看是否安装jdk
rpm -ivh jdk
su 切换超级用户 su baskbull
rpm -e ·rpm -qa | grep jdk· 卸载
rpm -e --nodeps `rpm -qa|grep jdk`
jps 看是否识别java
ls -l /usr/java
vim .bashrc
JAVA_HOME=/usr/java/latest
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH
source $JAVA_HOME
echo $JAVA_HOME 检验配置是否成功
cat /etc/sysconfig/network
reboot 生效
vi /etc/hosts 添加主机名和ip的映射
---关闭防火墙
service iptables status 查看防火墙状态
service iptables stop
chkconfig iptables off 关闭防火墙开机自启动
chkconfig --list 查看哪些开机自启动
---解压zooKeeper
tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
cd /usr/zookeeper-3.4.6
ls conf/
cp conf/zoo_sample.cfg conf/zoo.cfg
./bin/zkServer.sh
./bin/zkServer.sh start zoo.cfg
./bin/zkServer.sh status zoo.cfg
---解压kafka
tar -zxf kafka_2.11-2.2.0.tgz -C /usr/
vi config/server.properties --配置MQ服务
./bin/kafka-server-start.sh -daemon config/server.properties --以守护线程执行
./bin/kafka-server-stop.sh
./bin/kafka-topics.sh --help
./bin/kafka-topics.sh --bootstrap-server kafka:9092 --create --topic topic01 --partitions 3 --replication-factor 1
./bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic topic01 --group group1
另起一个
./bin/kafka-console-producer.sh --broker-list kafka:9092 --topic topic01
shutdown -h now
上面代表zookeeper启动成功
vi /etc/hosts
scp /etc/hosts kafkaB:/etc/
ntpdate ntp1.aliyun.com
clock -w
配置zkConfig
scp -r /usr/zookeeper-3.4.6 kafkaB:/usr/
scp -r /usr/zookeeper-3.4.6 kafkaC:/usr/
--定向
echo 1 > /root/zkdata/myid
tar -zxf kafka_2.11-2.2.0.tgz
Topic管理
启动kafka
--查看
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --create --topic topic01 --partitions 3 --replication-factor 2
--创建
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --list
--查看详情
./bin/kafka-topics.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --describe --topic topic01
topic分区partitions只能增 不能减
消费者订阅
./bin/kafka-console-consumer.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --topic topic01 --group g1
--property print.key=true
--property print.vlaue=true
--property key.separator=,
--生产者
./bin/kafka-console-producer.sh --broker-list kafkaA:9092,kafkaB:9092,kafkaC:9092 --topic topic01
--消费者组
./bin/kafka-consumer-groups.sh --bootstrap-server kafkaA:9092,kafkaB:9092,kafkaC:9092 --list