kafka安装及配置【root】

Kafka 安装自带zookeeper

nohup /home/kafka_2.11-2.3.0/bin/zookeeper-server-start.sh /home/kafka_2.11-2.3.0/config/zookeeper.properties &>>/home/kafka_2.11-2.3.0/zookeeper.log

bin/zookeeper-server-start.sh config/zookeeper.properties & 

KAFKA需要启动两个服务：

1. 启动zookeeper：bin/zookeeper-server-start.sh -daemon config/zookeeper.properties  后台启动

2，启动kafka：bin/kafka-server-start.sh -daemon config/server.properties

查topic里面数据

bin/kafka-console-consumer.sh --bootstrap-server 10.10.125.152:9092 --topic test --from-beginning |more

---

7.1 安装依赖包

# 需安装java zookeeper (redhat6 需安装jdk1.8)

# 启动 zookeeper集群

7.2 安装kafka

# tar -zxvf kafka_2.11-2.3.0.tgz

# cd kafka_2.11-2.3.0

7.3 配置kafka

#cd kafka_2.11-2.3.0/config

# vi server.properties

broker.id=0   //唯一标识

listeners=PLAINTEXT://10.10.167.34:9092  指定服务的端口

advertised.listeners=PLAINTEXT://10.10.167.34:9092  如果要提供外网访问 必须配置此项

log.dirs=/tmp/kafka-logs-0  //日志目录

// 在og.retention.hours=168下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

/ 设置zookeeper的连接端口，新版本的kafka不再使用zookeeper而是通过brokerlist的配置让producer直接连接broker，这个brokerlist可以配置多个，只要有一个能连接上，就可以让producer获取道集群中的其他broker的信息，绕过了zookeeper。因此这个zookeeper.connect可以设置多个值 */
zookeeper.connect=192.168.172.12:2181,192.168.172.11:2181,192.168.172.10:2181 不需要

7.4 启动kafka

# cd bin

# ./kafka-server-start.sh -daemon  ../config/server.properties

-daemon代表着以后台模式运行kafka集群，这样kafka的启动就不会影响我们继续在控制台输入命令。

7.5 验证启动是否成功

# jps 如报-bash: jps: command not found  通过是否可以创建主题查看

# ps –ef|grep kafka 即可查看

# cd bin

# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic创建主题topic   通过此语句创建集群

--replication-factor 3 // 指定副本数量
--partitions 1 // 创建1个分区 指定分区数量
--topic // 主题为my-topic
-- --zookeeper // 此处为为zookeeper监听的地址

# ./kafka-topics.sh --describe --zookeeper 10.10.167.34:2181 --topic my-topic 查看topic详细信息

# ./kafka-topics.sh --list --zookeeper 10.10.167.34:2181 查看topic

#bin/kafka-console-producer.sh --broker-list 10.10.167.35:9092  --topic my-topic 创建生产者

#bin/kafka-console-consumer.sh --bootstrap-server 10.10.167.35:9092 --topic my-topic --from-beginning创建消费者

#./kafka-console-consumer.sh --zookeeper 10.10.167.33:2181 --topic my-topic --from-beginning （集群 不好用 过时了）

查看index文件

./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /opt/kafka_2.11-0.11.0.0/kafka-data/pub_perf_mon-1/00000000000008294144.index

查看log文件

./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs/test3-0/00000000000000000000.log  --print-data-log

查看TimeIndex文件

./bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /opt/kafka_2.11-0.11.0.0/kafka-data/yilewan_mobile_info-0/00000000000000000012.timeindex  --verify-index-only

7.6 停止kafka

# bin/kafka-server-stop.sh config/server.properties

7.7 集群

通过上面配置，创建消费者、生产者, 生产者输入的内容，消费者可以获取成功即可