解决 Python 中的 ModuleNotFoundError：模块导入路径问题

背景

最近在我的项目中遇到了一个令人头疼的 `ModuleNotFoundError` 错误。项目结构相对复杂，我正在使用 PyTorch 和 `transformers` 等工具处理一个基于 GPT-2 的任务，其中有一部分代码需要导入自定义模块。项目结构大致如下：

C:\Users\Lenovo\PycharmProjects\LLM\
  └── modelcomponents\
        └── coar\
              ├── src\
              │    └── utils\
              │         ├── __init__.py  (空的)
              │         ├── eval_utils.py
              │         └── ndm_utils.py
              └── estimate\
                   └── gpt2_tinystories\
                        └── make_dataset.py
 

我在 `make_dataset.py` 中尝试导入 `eval_utils` 和 `ndm_utils`，代码如下：

```python
from src.utils import eval_utils
from src.utils import ndm_utils
```

当我运行代码时，出现了以下错误：

```bash
ModuleNotFoundError: No module named 'src.utils'
```

错误分析

通过查看文件结构，我确认 `eval_utils.py` 和 `ndm_utils.py` 文件确实存在于 `src/utils` 目录中，`__init__.py` 文件也是空的，这理论上不应该导致问题。为了确保一切正确，我尝试了以下几种常见的解决方案：

 1. 修改 `sys.path`

为了让 Python 能找到 `src/utils` 模块，我首先尝试在代码中手动修改 `sys.path`，添加了 `src` 目录路径：

import sys
import os

current_dir = os.path.dirname(os.path.abspath(__file__))
src_dir = os.path.join(current_dir, '..', 'src')
sys.path.append(src_dir)

但这并没有解决问题，错误依然存在。

2. 使用相对导入

接着，我尝试使用相对路径来导入模块：

from ..utils import eval_utils
from ..utils import ndm_utils

然而，这种方式在我的项目结构下依然无法解决问题。

3. 确保 PyCharm 设置正确

我还检查了 PyCharm 的配置，确保将 `LLM` 目录标记为 `Sources Root`，这样 PyCharm 就会正确识别这个目录下的模块。虽然这个操作有助于项目的 IDE 配置，但仍然没有修复导入错误。

 4. 使用 `PYTHONPATH`

最后，我通过设置 `PYTHONPATH` 来确保模块路径的正确性。在命令行中设置了 `PYTHONPATH` 环境变量：

set PYTHONPATH=C:\Users\Lenovo\PycharmProjects\LLM\modelcomponents\coar\src;%PYTHONPATH%

即便如此，仍然遇到相同的错误。

最终解决方案

经过多次尝试，最终我决定采用绝对路径导入的方式。将原来的导入代码修改为：

from modelcomponents.coar.src.utils import eval_utils
from modelcomponents.coar.src.utils import ndm_utils

这种方法最终解决了 `ModuleNotFoundError` 错误。原因可能是由于 Python 在模块查找时无法识别相对路径中的 `src` 目录，而使用绝对路径能确保正确找到模块的位置。

希望这篇文章能够帮助遇到类似问题的开发者更快地定位和解决错误。如果你也遇到了类似问题，欢迎留言讨论。