Kafka学习笔记：Kafka环境搭建

Kafka环境搭建

Kafka单机环境搭建

安装必需

• jdk，这里使用的是jdk1.8
• scala，需要独立安装scala，这里使用的是scala 2.11.8
• zookeeper，Kafka会自带zk，但是最好使用独立的

安装步骤

1.将Kafka的tar包上传到测试环境，解压到/opt/software，配置环境变量

KAFKA_HOME=/opt/software/kafka_2.11-1.1.0/
PATH=$KAFKA_HOME/bin:$SCALA_HOME/bin:$PATH
export KAFKA_HOME
export SCALA_HOME
export PATH

2.配置Kafka的broker，配置文件在config/server.properties，修改以下参数为下面的值

broker.id = 0
listeners=PLAINTEXT://Hadoop01:9092
log.dirs = /tmp/kafka-logs
zookeeper.connect=Hadoop01:2181
num.partitions = 1
log.retention.hours = 168

broker.id：每个broker的唯一标识
listeners：要监听的地址和端口
log.dirs：Kafka的logsegment
zookeeper.connect：zookeeper集群信息，包括主机名和端口号，如果配置集群，需要每个节点的信息都加上，并用逗号隔开
num.parti