遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s

最新推荐文章于 2024-08-07 09:11:58 发布

张小凡vip

最新推荐文章于 2024-08-07 09:11:58 发布

阅读量515

点赞数

分类专栏：遇到问题解决方案集锦文章标签： airflow k8s libpq cannot open imporError

本文链接：https://blog.csdn.net/zzq900503/article/details/118103152

版权

遇到问题解决方案集锦专栏收录该内容

264 篇文章 644 订阅 ¥19.90 ¥99.00

订阅专栏

在Kubernetes(K8s)上运行的Airflow工作流引擎突然遇到scheduler错误，表现为ImportError：libpq.so.5无法打开共享对象文件。问题根源在于Python包自动升级导致的兼容性问题。通过对比不同ci/cd日志，发现Airflow依赖的某些包版本变化。解决方案是在Dockerfile中锁定Airflow及关键依赖包的特定版本，确保与Airflow1.10.9兼容，从而避免此类问题。

摘要由CSDN通过智能技术生成

情况

之前在k8s中部署了工作流引擎airflow正常稳定运行。

突然有一天没修改任何东西的情况下重新ci/cd后 pod出现异常。

具体报错如下：

/usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying both AIRFLOW_HOME environment variable and airflow_home in the config file is deprecated. Please use only the AIRFLOW_HOME environment variable and remove the config file entry.
  warnings.warn(msg, category=DeprecationWarning)
/usr/local/lib/python3.7/dist-packages/requests/__init__.py:91: RequestsDependencyWarning: urllib3 (1.25.11) or chardet (3.0.4) doesn't match a supported version!
  RequestsDependencyWarning)
[2021-06-21 11:06:40,545] {settings.py:253} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow&#

了解本专栏