pgpool(3.6.5)的一个巨坑

在现场环境中突然发现spark application卡死，而卡死的状态又与普通的阻塞不同，看起来就是执行了一部分job之后，后面的Job都没有提交了。

而更为诡异的是，如果把指向不用pgpool，而直接用一个普通的pg库，整个spark application是正常的。

此时猜测可能问题出在driver端代码上，发现有一个类似这样的代码：

df.write().jdbc(...)

主要就是将df写成一张pg表。

查看了spark源码也很简单：

1.判断表是否存在（使用语句为select * from 表名 limit 1)

2.创建表

3.写数据

查看pg_stat_activity，发现是有query=select * from 表名 limit 1 语句的，处于idle状态。

IDEA远程连spark单步调试，发现卡住的正是第一步：

select * from 表名 limit 1

不用spark，而使用普通的jdbc执行这句话，也存在卡死的状况。

需要说明的是，查询的这种表是不存在的，也就是说这句话是会抛出异常的。不会是pg抛出了异常，而pgpool未能正确的处理此异常吧？

事实证明，pgpool确实是在处理error message时有问题，9月5日发布的3.6.6版本修复了此问题：

所以解决方案，就是采用3.6.6版本的pgpool。