--> 323 fcntl.flock(fp.fileno(), fcntl.LOCK_EX) OSError: [Errno 9] Bad file descriptor

使用mindformers的时候碰到这样的报错:

2024-09-12 13:04:23,745 - mindformers[mindformers/tools/download_tools.py:97] - INFO - Start download /tmp/code/mindformers/checkpoint_download/llama2/tokenizer.model
Downloading: 501kB [00:00, 1.64MB/s]                                                                
2024-09-12 13:04:24,064 - mindformers[mindformers/tools/download_tools.py:110] - INFO - Download completed!, times: 0.88s
Traceback (most recent call last):
  File "/tmp/code/mindformers/scripts/examples/llama2/run_llama2_generate.py", line 99, in <module>
    main(
  File "/tmp/code/mindformers/scripts/examples/llama2/run_llama2_generate.py", line 60, in main
    tokenizer = LlamaTokenizer.from_pretrained(model_name)
  File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1828, in from_pretrained
    tokenizer = cls.from_origin_pretrained(name_or_path, **kwargs)
  File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1864, in from_origin_pretrained
    config, cache_path = cls._download_using_name(name_or_path)
  File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1951, in _download_using_name
    try_sync_file(file_path)
  File "/tmp/code/mindformers/mindformers/tools/utils.py", line 323, in try_sync_file
    fcntl.flock(fp.fileno(), fcntl.LOCK_EX)
OSError: [Errno 9] Bad file descriptor

百度说: 

报错解释:

这个错误表明在尝试对文件进行锁定操作时发生了问题。fcntl.flock() 函数用于对文件加锁,以防止其他进程同时写入或修改文件。fcntl.LOCK_EX 是一个用于排他性锁定的常量,意味着在锁定期间文件将被锁定,其他进程无法访问。

OSError: [Errno 9] Bad file descriptor 表示传递给 fcntl.flock() 的文件描述符无效或已关闭。

解决方法:

确保传递给 fcntl.flock() 的文件对象 fp 是有效的且已经打开。

确保文件描述符 fp.fileno() 是有效的,并且没有在加锁前被关闭。

检查文件路径是否正确,以及应用程序是否有足够的权限对文件进行加锁操作。

示例代码修正:

try:
    with open('your_file_path', 'r+') as fp:
        # 确保文件是打开状态
        fcntl.flock(fp.fileno(), fcntl.LOCK_EX)
        # 在这里执行需要互斥锁定的文件操作
except OSError as e:
    print(f"Error: {e}")

确保在 with 语句块内调用 fcntl.flock(),以确保文件描述符有效且文件处于打开状态。如果文件不存在或者权限不足,with 语句会抛出异常,避免文件被错误地加锁。

目前问题还未解决。 

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值