本文记录了在升级Presto到430版本过程中遇到的worker启动失败问题，由于native snappy library加载冲突导致。通过日志分析，发现是系统级别的native包与Presto自带的hadoop库冲突。解决办法是通过设置LDLIBRARYPATH环境变量避免加载系统库。这次经验强调了查询社区和深入理解运行机制的重要性。
起因
公司使用了icebery存储数据，presto作为提供给用户查询的引擎，当前使用的版本对icebery支持较弱，存在读parquet异常问题，需要将版本升级到430。
合并代码
老版本我们当时为了支持hive的视图功能，以及其他一些功能，在原来版本的基础上做了一些代码更改，原本是我想两个版本库的代码直接合并的，后面灵哥跟我说，你可以直接使用git rebase 的功能，讲自己更改的代码有选择的合并到当前的最新分支上。这是一个及其好用的工具，特别是我们这种，对于开源的代码更改不多，同时也希望可以跟着社区升级的。
上线不顺利
当我把patch打回去，编译好代码，觉得万事俱备，JDK也改为11，可以准备上线，我在测试环境部署了新版本的presto，事情没有想象中的顺利，worker 起不来..我们是使用yarn来部署presto的worker的，presto-server是安全无恙的，但是worker起不来，我把yarn上的日志拿下来之后，发现报了如下异常：
``` ...skipping... at io.prestosql.plugin.hive.HiveConnectorFactory.create(HiveConnectorFactory.java:63) at io.prestosql.connector.ConnectorManager.createConnector(ConnectorManager.java:349) a
最低0.47元/天 解锁文章
扫一扫
2340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
