1.4.1 大数据-Kafka分布式集群安装

消息系统 - 原理

http://kafka.apache.org/

Kafka® is used for building real-time data pipelines and streaming apps

第一步 安装SCALA

scala-2.11.8.tgz拷贝到其他机器

scp -r scala-2.11.8.tgz kfk@bigdata-pro03.kfk.com:/opt/softwares/

解压软件包 配置环境变量

tar -zxf scala-2.11.8.tgz -C /opt/modules/
[kfk@bigdata-pro03 bin]$ sudo vim /etc/profile
export SCALA_HOME=/opt/modules/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
[kfk@bigdata-pro03 bin]$ sudo su
[root@bigdata-pro03 bin]# source /etc/profile
[root@bigdata-pro03 bin]# su kfk

[kfk@bigdata-pro03 bin]$ scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_11).
Type in expressions for evaluation. Or try :help.
scala> 1+1
res0: Int = 2

第二步 安装kafka_2.11-0.10.0.0

server.properties broker.id=1 三台不同编号配置

broker.id=1 
listeners=PLAINTEXT://bigdata-pro01.kfk.com:9092
host.name=bigdata-pro01.kfk.com
log.dirs=/opt/modules/kafka_2.11-0.10.0.0/kafka-logs
zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

producer.properties

bootstrap.servers=bigdata-pro01.kfk.com:9092,bigdata-pro02.kfk.com:9092,bigdata-pro01.kfk.com:9093

consumer.properties

zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

启动

bin/kafka-server-start.sh config/server.properties

后台启动

bin/kafka-server-start.sh -daemon config/server.properties

停止

bin/kafka-server-stop.sh

停止不了No kafka server to stop 改下kafka-server-stop.sh

将PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')
这行代码注释掉，修改为：
PIDS=$(jps -lm | grep -i 'kafka.Kafka' | awk '{print $1}')
停止会稍微慢点 等一会jps 不行就kill -9 可以改那个脚本或手工

第三步 实验

创建topic

bin/kafka-topics.sh --create --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 --replication-factor 1 --partitions 1 --topic test

列举topics

bin/kafka-topics.sh --list --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

查看topic

bin/kafka-topics.sh --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 --describe  --topic test

生产消息

bin/kafka-console-producer.sh --broker-list bigdata-pro01.kfk.com:9092 --topic test

接收消息

bin/kafka-console-consumer.sh --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 --topic test --from-beginning
 有些人用--bootstrap-server 2.5后用

删除topic

bin/kafka-topics.sh --zookeeper bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181 --delete  --topic test

如果没删成功 kafaka配置文件server.properties，

会提示假修改 只是标记了 Topic test is already marked for deletion.
真删除 添加delete.topic.enable=true，