Kafka环境搭建
Kafka单机环境搭建
安装必需
- jdk,这里使用的是jdk1.8
- scala,需要独立安装scala,这里使用的是scala 2.11.8
- zookeeper,Kafka会自带zk,但是最好使用独立的
安装步骤
1.将Kafka的tar包上传到测试环境,解压到/opt/software,配置环境变量
KAFKA_HOME=/opt/software/kafka_2.11-1.1.0/
PATH=$KAFKA_HOME/bin:$SCALA_HOME/bin:$PATH
export KAFKA_HOME
export SCALA_HOME
export PATH
2.配置Kafka的broker,配置文件在config/server.properties,修改以下参数为下面的值
broker.id = 0
listeners=PLAINTEXT://Hadoop01:9092
log.dirs = /tmp/kafka-logs
zookeeper.connect=Hadoop01:2181
num.partitions = 1
log.retention.hours = 168
broker.id:每个broker的唯一标识
listeners:要监听的地址和端口
log.dirs:Kafka的logsegment
zookeeper.connect:zookeeper集群信息,包括主机名和端口号,如果配置集群,需要每个节点的信息都加上,并用逗号隔开
num.parti