fused_adam.so: cannot open shared object file: No such file or directory问题排查与解决

最近一个同学加载一个新的预训练模型时候碰到了这样一个问题,帮他排查解决一下:

File "/data/anaconda3/envs/nlp/lib/python3.6/site-packages/torch/utils/cpp_extension.py", line 1362, in _jit_compile return _import_module_from_library(name, build_directory, is_python_module)

File "/data/anaconda3/envs/nlp/lib/python3.6/site-packages/torch/utils/cpp_extension.py", line 1752, in _import_module_from_library module = importlib.util.module_from_spec(spec)

File "<frozen importlib._bootstrap>", line 541, in module_from_spec File "<frozen importlib._bootstrap_external>", line 912, in create_module File "<frozen importlib._bootstrap>", line 229, in _call_with_frames_removed

ImportError: /data/.cache/torch_extensions/py36_cu111/fused_adam/fused_adam.so: cannot open shared object file: No such file or directory

 Google搜了一下也没搜到什么相关的内容,分析有大概几种可能:

1. 看到No such file or directory分析可能是路径设置问题 写成绝对路径可能会解决

2. 也可能是checkpoint文件本身的问题 是否加载的文件有损坏?

3. 环境配置是否有问题?torch 或者tensorflow的版本与Cuda版本不匹配?

经过逐一排查,发现前两者都没有问题,最后发现是tensorflow的版本与cuda版本不匹配导致的问题,cuda版本过高。

将Cuda版本降级后问题解决~ 以上~

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
这个错误通常是由于缺少共享对象文件导致的。共享对象文件是一种可执行文件,它包含被多个程序共享的代码和数据。根据你提供的引用内容,这个错误可能是由于缺少名为"fused_adam.so"或"libavformat.so.58"的共享对象文件引起的。这些文件可能在你的系统中不存在或无法找到。 解决这个问题的方法是确保这些共享对象文件存在并且可以被正确加载。你可以尝试以下几个步骤来解决这个问题: 1. 检查文件路径:首先,确认这些共享对象文件的路径是否正确。你可以使用命令`ls`来检查文件是否存在,并使用`ldd`命令来检查共享对象文件的依赖关系。 2. 安装缺失的依赖项:如果缺少共享对象文件的依赖项,你可以尝试安装这些依赖项。根据你提供的引用内容,你可能需要安装ffmpeg或其他相关的库文件。你可以使用包管理器来安装这些依赖项,例如在Ubuntu上使用apt-get命令,或在CentOS上使用yum命令。 3. 更新软件包:如果你已经安装了依赖项,但仍然遇到问题,可能是因为软件包版本不兼容。尝试更新软件包到最新版本,以确保所有依赖项都是兼容的。 4. 重新编译或重新安装:如果以上步骤都没有解决问题,你可以尝试重新编译或重新安装相关的软件包。确保按照正确的步骤和选项进行编译和安装。 请注意,具体的解决方法可能因系统和软件环境的不同而有所不同。如果你仍然遇到困难,建议查阅相关软件的官方文档或寻求专业支持。 #### 引用[.reference_title] - *1* [fused_adam.so: cannot open shared object file: No such file or directory问题排查解决](https://blog.csdn.net/qq_35284646/article/details/125785970)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [cannot open shared object file: No such file or directory解决方法](https://blog.csdn.net/qq_32077121/article/details/109725714)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [cannot open shared object file: No such file or directory如何解决](https://blog.csdn.net/joshuaxx316/article/details/50553185)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值