背景
最近需要在一个组件里面启动spark程序,打算用java可以处理命令行的API `ProcessBuilder` 来处理
用 ProcessBuilder 构建子程序,使用 start() 后,有时进程就一直卡在那个地方
将 builder 的命令拿出来,直接使用命令行运行,程序又可以执行成功
找不到原因,主要还是源于无知,对API不熟悉,不知道有哪些地方需要注意
但现在有大模型还好,可以快速定位到问题,不用去慢慢看API了(但看API依然很重要)
问了大模型,给了几条思路,其中一条说是子进程的输出缓冲区满了,然后就阻塞了
感觉这个很像,然后试了一把,问题解决,下面给个 demo
在子程序程序 start 后将这个处理缓冲器的线程启动起来
private void processSubprocessBuffer(Process process, Logger logger) {
new Thread(() -> {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(process.getInputStream()))) {
String line;
while ((line = reader.readLine()) != null) {
logger.info("SPARK STDOUT: " + line);
}
} catch (IOException e) {
e.printStackTrace();
}
}).start();
new Thread(() -> {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(process.getErrorStream()))) {
String line;
while ((line = reader.readLine()) != null) {
logger.info("SPARK STDERR: " + line);
}
} catch (IOException e) {
e.printStackTrace();
}
}).start();
}