kafka 增加数据目录并迁移数据到新目录

增加数据目录:

kafka log.dirs能够填写多个文件目录，以逗号分割。

1. 停止kafka broker
2. 创建新的目录，修改log.dirs，添加新增的目录。
3. 启动kafka

ps: 新加目录后，原有的数据并不会被重新分配到新数据目录里。新创建的topic会被放入分区文件数最少的磁盘目录。

迁移数据到新的目录

如果想要把原有目录里的kafka数据迁移到新的目录，步骤如下

假设原有的数据目录为dir1,目标数据目录为dir2

1. 停止kafka broker
2. 进入dir1，将需要迁移的topic内容移到dir2下。
3. 修改dir1内的recovery-point-offset-checkpoint，将需要迁移的topic相关的内容，复制到dir2里的recovery-point-offset-checkpoint文件内。
4. dir1的replication-offset-checkpoint文件内容和3一样处理。
5. 重启kafka

ps: 如果是刚刚增加的数据目录，replication-offset-checkpoint和recovery-point-offset-checkpoint内容可能是空的，可以在加完数据目录后，先创建一个topic，并且replica数为broker个数，让每个broker的新加的目录里，都有这个topic内容。这样上面的2份文件就不为空。在这基础上继续迁移数据会方便一些。

参考

1. 迁移数据 这个视频讲的很详细
2. https://community.cloudera.com/t5/Community-Articles/Migrating-Kafka-partitions-data-to-new-disk-location/ta-p/247664