跑模型DALM(Cross_domain ABSA)实验报错记录,主要是torchtext,required包,服务器配置miniconda,pytorch

一、在自己电脑上(Windows)

1.报错:“c10_cuda.dll or one of its dependencies“

重新建一个虚拟环境,重装pytorch==1.12解决问题。

2.报错:OSError: [WinError 1455] 页面文件太小,无法完成操作。

Error loading "D:\Anaconda\envs\DALM\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.  

运行时电脑虚拟内存太小了,没有空间了。解决办法,将D盘分配虚拟内存:

YOLOV7:OSError: [WinError 1455] 页面文件太小,无法完成操作的 最终解决方案_oserror: [winerror 1455] 页面文件太小,无法完成操作。 error load-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/xty123abc/article/details/125864462

 3.torchtext版本问题:from torchtext.legacy.data import Iterator

from torchtext.data import Iterator

遇到问题
下面的代码在torchtext 0.12 下无法运行

from torchtext.data import Iterator


产生报错

ImportError: cannot import name 'Iterator' from 'torchtext.data' (/usr/local/lib/python3.8/dist-packages/torchtext/data/__init__.py)


后来google一下,发现应该使用torchtext.legacy 包

from torchtext.legacy.data import Iterator

遇到问题 : Cannot find reference 'legacy' in '__init__.py | __init__.py'
在0.9以上的版本中,torchtext.legacy里面存着之前老版本的包,比如Iterator但是在torchtext==0.12下这个legacy被移除了。所以只能用别的版本。

在官方新版本的release torchtext==0.12.0中找到了相关的说明,移除了legacy包:https://github.com/pytorch/text/releases

4.torchtext版本和torch版本对应关系很严格,如下:

PyTorch中torch、torchvision、torchaudio、torchtext版本对应关系_torch与torchvision版本-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/shiwanghualuo/article/details/122860521

在我的电脑上(windows)中变换pytorch版本很不方便,需下载对应版本的三个whl文件,因为直接pip安装很容易失败。

pytorch各文件官网下载地址如下:

download.pytorch.org/whl/torch_stable.html

然后用命令安装:如安装1.12
pip install D:\whl\pytorch1.12_win\torch-1.12.0+cu113-cp39-cp39-win_amd64.whl
pip install D:\whl\pytorch1.12_win\torchvision-0.13.0+cu113-cp39-cp39-win_amd64.whl
pip install D:\whl\pytorch1.12_win\torchaudio-0.12.0+cu113-cp39-cp39-win_amd64.whl

5.from torch.optim.optimizer import required 问题

报错:Cannot find reference 'required' in 'optimizer.pyi' 

试了很多pytorch版本(2.0.1,1.12,1.11,1.7)都不对,仍然报错

有一个解决办法是不导required包,在代码中加required函数:

# from torch.optim.optimizer import required
class _RequiredParameter:
    """Singleton class representing a required parameter for an Optimizer."""
    def __repr__(self) -> str:
        return "<required parameter>"

required = _RequiredParameter()

这样可以暂时解决。

二、服务器上(linux)

1.服务器配置miniconda十分方便,参考:

miniconda安装及环境创建(Linux)_miniconda linux-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_44159487/article/details/105620256#:~:text=miniconda%E5%AE%89%E8%A3%85%E5%8F%8A%E7%8E%AF%E5%A2%83%E5%88%9B%E5%BB%BA%EF%BC%88Linux%EF%BC%89%201%201%20%E5%AE%89%E8%A3%85miniconda%201%E3%80%81%E5%88%9B%E5%BB%BA%E6%96%87%E4%BB%B6%E5%A4%B9%EF%BC%9A%20mkdir%20miniconda%20%28%E6%96%87%E4%BB%B6%E5%A4%B9%E5%90%8D%29,%E8%99%9A%E6%8B%9F%E7%8E%AF%E5%A2%83%203.1%20%E5%88%9B%E5%BB%BA%E7%8E%AF%E5%A2%83%E5%B9%B6%E5%AE%89%E8%A3%85pytorch%20%E5%88%97%E5%87%BA%E5%BD%93%E5%89%8D%E5%B7%B2%E7%BB%8F%E5%88%9B%E5%BB%BA%E7%9A%84python%E8%99%9A%E6%8B%9F%E7%8E%AF%E5%A2%83%20conda%20env%20list%20

2.服务器linux中配置pytorch环境也是十分方便:

各版本copy官网相应的命令直接pip就行。

Previous PyTorch Versions | PyTorchicon-default.png?t=N7T8https://pytorch.org/get-started/previous-versions/如:

pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113

3.pytorch版本报错:

pytorch版本为1.7.1时

ModuleNotFoundError: No module named ‘torch.utils._pytree’
该问题为版本不匹配问题,经查询,我当前环境下安装的pytorch版本为1.7.1,而报错的模块为1.8.0以后引入,故需要将现存的pytorch卸载重新安装对应版本。

pytorch版本为2.0.1时

AttributeError: '_MultiProcessingDataLoaderIter' object has no attribute 'next'

最终pytorch版本还是和我的windows一样为1.12.0时可以运行,比较稳定。

  • 32
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值