一、必须配置
1.broker.id=0 ##给定broker的id的值,在一个kafka集群中该参数必须唯一
2.port=9092 ##监听的端口号,默认9092,需要保证改端口没有被使用
3.host.name=bigdata-01 ##监听的主机名,默认是localhost,需要更改为hostname
3.log.dirs=/opt/cdh-5.3.6/kafka/data/0
##指定kafka存储磁盘的路径,可以使用","分割,给定多个磁盘路径;如果服务器挂载多个磁盘,可以将kafka的数据分布存储到不同的磁盘中(每个磁盘写一个路径),对于Kafka的数据的读写效率有一定的提升(场景:高并发、大数据量的情况)
4.zookeeper.connect=bigdata-01:2181/kafka ##配置kafka连接zk的相关信息,连接url以及kafka数据存储的zk根目录;这里的配置含义是:连接hadoop-senior02机器2181端口的zookeeper作为kafka的元数据管理zk,zk中使用/kafka作为kafka元数据存储的根目录,默认kafka在zk中的根目录是zk的顶级目录("/")
=========================================================================================
二、调优配置
1.默认数据保留时间168h=7天
# The minimum age of a log file to be eligible for deletion
log.retention.hours=168
2.最大接收数据的大小,默认是1Mb
# The maximum size of a request that the socket server will accept (protection against OOM)
socket.request.max.bytes=104857600
3.每个partition里面会有多个segment(分片),读和写都是按照分片顺序。
# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741824
4.zookeeper连接超时时间6s
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000
5.zookeeper连接信息,多台就用逗号连接
# root directory for all kafka znodes.
zookeeper.connect=hadoop:2181/kafka08,hadoop:2181/kafka09