【Python】Python如何永久修改sys.path

【Python】Python如何永久修改sys.path

起因:这两天运行需要用命令行来运行python文件,但是总是报错ModuleNotFoundError: No module named 'xxx'

(tf) liushanlin@liushanlindeMacBook-Air train % ~/miniforge3/envs/tf/bin/python3 resnet_cifar.py --checkpoints output/checkpoints
Traceback (most recent call last):
  File "resnet_cifar.py", line 7, in <module>
    from cnn.resnet.model.resnet import ResNet
ModuleNotFoundError: No module named 'cnn'

在网上找了一下,原因是解释器的搜索路径中没有要引用的包所在的路径,需要把这个路径加到sys.path中去

ps:记得确认一下命令行运行的python解释器是正确的,有时候命令行直接敲出来的python命令,使用的解释器的系统默认的解释器

步骤一:

>>> import os
>>> import sys
# __file__是要导入的文件名
>>> curPath = os.path.abspath(os.path.dirname("__file__"))
>>> rootPath = os.path.split(curPath)[0]
>>> print(root_path)
/Users/liushanlin/PycharmProjects/gan_mnist
>>> sys.path.append(new_path)
# 查看了一下发现已经加进去了
>>> print(sys.path)
['', '/Users/liushanlin/miniforge3/envs/tf/lib/python38.zip', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/lib-dynload', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages', '/Users/liushanlin/PycharmProjects/gan_mnist']
>>> exit()

然后退出,再次运行发现又报错,还是没能找到。

然后退出,再次运行发现又报错,还是没能找到。

>>> import os
>>> import sys
>>> curPath = os.path.abspath(os.path.dirname("__file__"))
>>> rootPath = os.path.split(curPath)[0]
>>> print(root_path)
/Users/liushanlin/PycharmProjects/gan_mnist
>>> sys.path.append(new_path)
>>> print(sys.path)
['', '/Users/liushanlin/miniforge3/envs/tf/lib/python38.zip', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/lib-dynload', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages']
>>> exit()

然后查了一下发现,每次进入python中添加的path都只是暂时生效,一旦退出就会失效。

于是,找到了以下解决方案:

步骤二:

>>> import sys
>>> print(sys.path)
['', '/Users/liushanlin/miniforge3/envs/tf/lib/python38.zip', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/lib-dynload', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages']

这是系统默认的寻找包的路径,在其中任意一个包目录下创建"xxx.pth"文件,在.pth文件中写入要添加的路径,重新进入python解释器即可生效。

假如我们选择/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages这个目录,具体操作如下:

cd /Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages
vim project_path.pth

写入我们要导入的包所在目录

在这里插入图片描述
重新进入python解释器

>>> import sys
>>> print(sys.path)
['', '/Users/liushanlin/miniforge3/envs/tf/lib/python38.zip', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/lib-dynload', '/Users/liushanlin/miniforge3/envs/tf/lib/python3.8/site-packages',
'/Users/liushanlin/PycharmProjects/gan_mnist']

可以看到已经生效。

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在使用Python C API接口对sys.pathsys.modules进行写入和删除时,需要注意线程安全性。因为这些变量是全局的,如果多个线程同时修改它们,可能会导致竞争条件和数据不一致性问题。 为了解决这个问题,可以使用Python提供的线程锁来保证线程安全。以下是一个示例代码,演示如何在C语言中使用Python C API接口对sys.path进行线程安全的写入和删除: ```c #include <Python.h> #include <thread> // 定义全局锁 static PyGILState_STATE gstate; static PyThreadState *main_thread_state = nullptr; static PyThreadState *current_thread_state = nullptr; static PyObject* add_path_to_sys(PyObject* self, PyObject* args) { const char* path; if (!PyArg_ParseTuple(args, "s", &path)) { return nullptr; } // 获取全局锁 gstate = PyGILState_Ensure(); current_thread_state = PyThreadState_Get(); if (current_thread_state == nullptr) { PyGILState_Release(gstate); return nullptr; } // 获取主线程状态 if (main_thread_state == nullptr) { main_thread_state = PyEval_SaveThread(); } // 获取全局变量 sys.path PyObject* sys_module = PyImport_ImportModule("sys"); if (sys_module == nullptr) { PyGILState_Release(gstate); return nullptr; } PyObject* sys_dict = PyModule_GetDict(sys_module); PyObject* sys_path = PyDict_GetItemString(sys_dict, "path"); if (sys_path == nullptr) { Py_DECREF(sys_module); PyGILState_Release(gstate); return nullptr; } // 添加路径到 sys.path PyObject* new_path = PyUnicode_FromString(path); PyList_Append(sys_path, new_path); Py_DECREF(new_path); // 释放资源 Py_DECREF(sys_module); PyGILState_Release(gstate); return Py_None; } static PyObject* remove_path_from_sys(PyObject* self, PyObject* args) { const char* path; if (!PyArg_ParseTuple(args, "s", &path)) { return nullptr; } // 获取全局锁 gstate = PyGILState_Ensure(); current_thread_state = PyThreadState_Get(); if (current_thread_state == nullptr) { PyGILState_Release(gstate); return nullptr; } // 获取主线程状态 if (main_thread_state == nullptr) { main_thread_state = PyEval_SaveThread(); } // 获取全局变量 sys.path PyObject* sys_module = PyImport_ImportModule("sys"); if (sys_module == nullptr) { PyGILState_Release(gstate); return nullptr; } PyObject* sys_dict = PyModule_GetDict(sys_module); PyObject* sys_path = PyDict_GetItemString(sys_dict, "path"); if (sys_path == nullptr) { Py_DECREF(sys_module); PyGILState_Release(gstate); return nullptr; } // 从 sys.path 中删除路径 for (Py_ssize_t i = 0; i < PyList_Size(sys_path); i++) { PyObject* item = PyList_GetItem(sys_path, i); const char* str = PyUnicode_AsUTF8(item); if (strcmp(str, path) == 0) { PyList_SetSlice(sys_path, i, i+1, nullptr); break; } } // 释放资源 Py_DECREF(sys_module); PyGILState_Release(gstate); return Py_None; } static PyMethodDef my_methods[] = { {"add_path_to_sys", add_path_to_sys, METH_VARARGS, "add path to sys.path"}, {"remove_path_from_sys", remove_path_from_sys, METH_VARARGS, "remove path from sys.path"}, {NULL, NULL, 0, NULL} }; static struct PyModuleDef my_module = { PyModuleDef_HEAD_INIT, "mymodule", "Python extension module", -1, my_methods }; PyMODINIT_FUNC PyInit_mymodule(void) { return PyModule_Create(&my_module); } ``` 在上述代码中,我们使用了PyGILState_Ensure()函数来获取全局锁,保证线程安全。同时,我们还保存了主线程状态和当前线程状态,用于后续的操作。 在add_path_to_sys函数中,我们先获取sys.path变量,然后将新的路径添加到该变量中。在remove_path_from_sys函数中,我们遍历sys.path变量,找到要删除的路径,然后将其从列表中删除。 需要注意的是,由于Python C API是与Python解释器紧密绑定的,所以我们需要在主线程中调用PyEval_SaveThread()函数,将主线程状态保存下来。这可以保证我们在C代码中使用Python C API时,能够正确地访问全局变量和调用Python函数。 最后,我们将上述代码编译为动态链接库(例如mymodule.so),然后在C程序中通过dlopen()函数加载该动态链接库,并调用其中的函数来修改sys.path变量。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值