使用mindformers的时候碰到这样的报错:
2024-09-12 13:04:23,745 - mindformers[mindformers/tools/download_tools.py:97] - INFO - Start download /tmp/code/mindformers/checkpoint_download/llama2/tokenizer.model Downloading: 501kB [00:00, 1.64MB/s] 2024-09-12 13:04:24,064 - mindformers[mindformers/tools/download_tools.py:110] - INFO - Download completed!, times: 0.88s Traceback (most recent call last): File "/tmp/code/mindformers/scripts/examples/llama2/run_llama2_generate.py", line 99, in <module> main( File "/tmp/code/mindformers/scripts/examples/llama2/run_llama2_generate.py", line 60, in main tokenizer = LlamaTokenizer.from_pretrained(model_name) File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1828, in from_pretrained tokenizer = cls.from_origin_pretrained(name_or_path, **kwargs) File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1864, in from_origin_pretrained config, cache_path = cls._download_using_name(name_or_path) File "/tmp/code/mindformers/mindformers/models/tokenization_utils_base.py", line 1951, in _download_using_name try_sync_file(file_path) File "/tmp/code/mindformers/mindformers/tools/utils.py", line 323, in try_sync_file fcntl.flock(fp.fileno(), fcntl.LOCK_EX) OSError: [Errno 9] Bad file descriptor
百度说:
报错解释:
这个错误表明在尝试对文件进行锁定操作时发生了问题。fcntl.flock() 函数用于对文件加锁,以防止其他进程同时写入或修改文件。fcntl.LOCK_EX 是一个用于排他性锁定的常量,意味着在锁定期间文件将被锁定,其他进程无法访问。
OSError: [Errno 9] Bad file descriptor 表示传递给 fcntl.flock() 的文件描述符无效或已关闭。
解决方法:
确保传递给 fcntl.flock() 的文件对象 fp 是有效的且已经打开。
确保文件描述符 fp.fileno() 是有效的,并且没有在加锁前被关闭。
检查文件路径是否正确,以及应用程序是否有足够的权限对文件进行加锁操作。
示例代码修正:
try:
with open('your_file_path', 'r+') as fp:
# 确保文件是打开状态
fcntl.flock(fp.fileno(), fcntl.LOCK_EX)
# 在这里执行需要互斥锁定的文件操作
except OSError as e:
print(f"Error: {e}")
确保在 with 语句块内调用 fcntl.flock(),以确保文件描述符有效且文件处于打开状态。如果文件不存在或者权限不足,with 语句会抛出异常,避免文件被错误地加锁。
目前问题还未解决。