Kafka集群新增数据及日志文件路径

一、增加Kafka的主题数据目录

1. 新目录准备

   在/home下新增kafka/datalogs目录

mkdir -p /home/kafka/datalogs

其中kafka和datalogs的属组改为kafka

chown -R /home/kafka
chown -R /home/kafka/datalogs

1. 修改config/server.properties文件

   在原属性后增加新的路径，范例如下：

# 修改前
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1

# 修改后
log.dirs=/opt/kafka_2.12-2.5.1/kafka-logs-1,/home/kafka/datalogs

1. 修改数据日志保留策略

   还是config/server.properties文件

   具体保留数量根据现场磁盘空间和行方磁盘告警要求进行调整。

#保留小时数（168h=7天）
log.retention.hours=168
#总保留字节（100G）
log.retention.bytes=107374182400

二、移动kafka的运行日志目录

1. 新目录准备

   在/home下新增kafka/logs目录

mkdir -p /home/kafka/logs

logs目录的属组改为kafka

chown -R /home/kafka/logs

1. 修改kafka-run-class.sh文件

vim /opt/kafka_2.12-2.5.1/bin/kafka-run-class.sh

# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs

修改后的结果参考如下：

# Log directory to use
# 在上面注释的下一行增加
LOG_DIR=/home/kafka/logs
if [ "x$LOG_DIR" = "x" ]; then
  LOG_DIR="$base_dir/logs"
fi

三、重启kafka服务

1. 逐个重启kafka集群中的节点

   每个节点重启后，等待当前节点稳定运行，一般3分钟左右。

su - kafka

# 如果echo ${KAFKA_HOME}不是kafka安装目录，请手动export KAFKA_HOME=【kafka安装目录】
sh ${KAFKA_HOME}/bin/kafka-server-stop.sh

# 等待几分钟
sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties

1. 全部重启完毕

   观察/home/kafka/datalogs及logs目录下有无新增数据文件及日志文件。