Windwos bat进程守护 解决 kafka2.8.0 Failed to clean up log for __consumer_offsets

问题参考

ERROR Failed to clean up log for __consumer_offsets-42 in dir C:\tmp\kafka-logs due to IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned ->
C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap: 另一个程序正在使用此文件，进程无法访问。
....
java.nio.file.FileSystemException

Windows Kafka ERROR Failed to clean up log for __consumer_offsets
[Kafka错误]-----kafka在window下出现另一个程序正在使用此文件,进程无法访问的错误

原因

kafka日志清理策略触发，在window环境下，在打开需要清理的日志的同时，对该文件进行重命名操作是不被允许的（linux环境下可以），从而导致kafka宕机。

方案一：修改日志清理策略，将日志清理时间修改为无穷（-1），使kafka数据日志永久存储 缺点：（1）磁盘空间会不断增大
方案二：在window上搭建虚拟机（docker同理，且更麻烦），然后在虚拟机中部署kafka 缺点：（1）运维人员需要懂点linux运维知识（2）增加内存消耗
方案三：上面文章中有写到重新打补丁包，我试过在2.8.0-2.13.0版本中重新打包，结果还是不行。

解决： bat 进程守护运行

用bat脚本对kafka的运行 进行守护，每10秒检查端口运行状态，运行异常时，重新启动 2.注意：重启时 会清空kafka的日志文件

kafka_run_daemon.bat

@echo off

:: 执行的命令
set _startBat=D:\software\kafka\start.bat
:: 日志所在位置
set _kafkaLogs=D:\software\kafka\tmp


:checkstart
:: 端口方式进行检查
netstat -ano | findstr 0.0.0.0 | findstr :19092 | findstr LISTENING > nul
if %ERRORLEVEL% EQU 0 ( 
echo 运行正常
GOTO checkag ) else ( 
echo 没有运行
GOTO startsvr  )

 

:startsvr
echo %time% kafka运行状态异常、正在重新启动

:: 检查 zookeeper
echo %time% 检查zookeeper状态
netstat -ano | findstr 0.0.0.0 | findstr :12181 | findstr LISTENING > nul
if %ERRORLEVEL% EQU 0 ( 
echo %time% zookeeper正在运行
FOR /F "tokens=5" %%P IN ('netstat -a -n -o ^| findstr :12181') DO TaskKill.exe  /PID %%P  -t -f 
echo %time% zookeeper结束完成
 ) else ( 
echo %time% zookeeper没有运行
)

:: 删除tmp zookeepr和kafka的运行日志
echo %time% 删除tmp zookeepr和kafka的运行日志
rd/s/q %_kafkaLogs%
echo %time% 日志清理完成

:: 开始启动
echo %time% 开始启动
start %_startBat%
set/p=.<nul
for /L %%i in (1 1 10) do set /p a=.<nul&ping.exe /n 2 127.0.0.1>nul
echo .
echo Wscript.Sleep WScript.Arguments(0) >%tmp%\delay.vbs 
cscript //b //nologo %tmp%\delay.vbs 40000 
::计划40秒完成启动
echo %time%  启动操作完成，检查存活状态
GOTO checkstart


:checkag
echo %time% 程序运行正常,10秒后继续检查...
echo Wscript.Sleep WScript.Arguments(0) >%tmp%\delay.vbs 
cscript //b //nologo %tmp%\delay.vbs 10000 
GOTO checkstart

start.bat 卡夫卡启动脚本

start .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
timeout 10
start .\bin\windows\kafka-server-start.bat .\config\server.properties
exit

使用方法 ，将两个bat复制到kafka根目录，配置好bat 里面的日志位置（此处将kafka和zookeeper都放在同一tem文件夹），
直接运行 kafka_run_daemon.bat，也可添加到系统服务中去

本地测试，挂掉后可以正常重启：

无黑窗口运行模式

在上面的进程守护基础之上

run_zookeeper.vbs

Dim WinScriptHost
Set WinScriptHost = CreateObject("WScript.Shell") 
WinScriptHost.Run ".\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties", 0, True 
Set WinScriptHost = Nothing

run_kafka.vbs

Dim WinScriptHost
Set WinScriptHost = CreateObject("WScript.Shell") 
WinScriptHost.Run ".\bin\windows\kafka-server-start.bat .\config\server.properties", 0, True 
Set WinScriptHost = Nothing

start_vbs.bat

start wscript runZookeeper.vbs
timeout 10
start wscript runKafka.vbs
exit

run_zookeeper.vbs和run_kafka.vbs复制到kafka根目录， 修改 kafka_run_daemon.bat脚本中的_startBat=start_vbs.bat
运行kafka_run_daemon.bat后 kafka和zookeeper不会出现黑窗口。

这不是好的解决办法 ~~有其他解决办法的话，望看到的大哥们告知一下。