spark thrift server 查询日志留存<保留查询SQL>
spark thrift server的web ui在运行时可以看到sql查询的提交用户,执行sql等信息
但是当这个实例停掉或者异常终止以后,你再去spark history server的webui去查看,发现这部分信息就没有了……
究其原因,原来spark thrift server并没有将这部分数据序列化到spark history server的store中,回头有空可以单独讲讲这部分源码的实现
这篇帖子是使用一个折中的办法实现了这部分数据的日志留存
修改spark-hive-thriftser
转载
2021-07-02 19:18:53 ·
434 阅读 ·
0 评论