conda环境下Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions问题解决

智慧医疗

已于 2023-12-12 23:28:28 修改

阅读量7.2k

点赞数 2

分类专栏： AI运行环境文章标签： python 深度学习人工智能 bert_vits2

于 2023-11-11 10:48:25 首次发布

本文链接：https://blog.csdn.net/lsb2002/article/details/134341417

版权

AI运行环境专栏收录该内容

47 篇文章 4 订阅

订阅专栏

1 问题描述

在训练Bert-VITS2模型时，系统报错，错误信息如下：

terminate called after throwing an instance of 'c10::Error'
  what():  CUDA error: an illegal memory access was encountered
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

Exception raised from c10_cuda_check_implementation at ../c10/cuda/CUDAException.cpp:44 (most recent call first):
frame #0: c10::Error::Error(c10::SourceLocation, std::string) + 0x57 (0x7f938874c4d7 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10.so)
frame #1: c10::detail::torchCheckFail(char const*, char const*, unsigned int, std::string const&) + 0x64 (0x7f938871636b in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10.so)
frame #2: c10::cuda::c10_cuda_check_implementation(int, char const*, char const*, int, bool) + 0x118 (0x7f93887f0fa8 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10_cuda.so)
frame #3: <unknown function> + 0xdf9cde (0x7f9389615cde in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libtorch_cuda.so)
frame #4: <unknown function> + 0x4cce56 (0x7f93c7c8fe56 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libtorch_python.so)
frame #5: <unknown function> + 0x3ee77 (0x7f9388731e77 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10.so)
frame #6: c10::TensorImpl::~TensorImpl() + 0x1be (0x7f938872a69e in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10.so)
frame #7: c10::TensorImpl::~TensorImpl() + 0x9 (0x7f938872a7b9 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libc10.so)
frame #8: <unknown function> + 0x751fb8 (0x7f93c7f14fb8 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libtorch_python.so)
frame #9: THPVariable_subclass_dealloc(_object*) + 0x305 (0x7f93c7f15345 in /root/anaconda3/envs/vits2/lib/python3.9/site-packages/torch/lib/libtorch_python.so)
<omitting python frames>
frame #32: __libc_start_main + 0xf5 (0x7f940561e555 in /lib64/libc.so.6)

2 问题分析

查看cuda和torch的版本

nvidia-cublas-cu11        11.10.3.66
nvidia-cuda-cupti-cu11    11.7.101
nvidia-cuda-nvrtc-cu11    11.7.99
nvidia-cuda-runtime-cu11  11.7.99
nvidia-cudnn-cu11         8.5.0.96
nvidia-cufft-cu11         10.9.0.58
nvidia-curand-cu11        10.2.10.91
nvidia-cusolver-cu11      11.4.0.1
nvidia-cusparse-cu11      11.7.4.91
nvidia-nccl-cu11          2.14.3
nvidia-nvtx-cu11          11.7.91
oauthlib                  3.2.2
openai-whisper            20231106
orjson                    3.9.10
packaging                 23.2
pandas                    2.1.2
phonemizer                3.2.1
Pillow                    10.1.0
pip                       23.3.1
platformdirs              3.11.0
pooch                     1.8.0
proces                    0.1.7
protobuf                  4.23.4
psutil                    5.9.6
pyasn1                    0.5.0
pyasn1-modules            0.3.0
pycparser                 2.21
pydantic                  2.4.2
pydantic_core             2.10.1
pydub                     0.25.1
Pygments                  2.16.1
pykakasi                  2.2.1
pylatexenc                2.10
pyopenjtalk               0.3.3
pyparsing                 3.1.1
pypinyin                  0.49.0
python-dateutil           2.8.2
python-multipart          0.0.6
pytz                      2023.3.post1
PyYAML                    6.0.1
rdflib                    7.0.0
referencing               0.30.2
regex                     2023.10.3
requests                  2.31.0
requests-oauthlib         1.3.1
resampy                   0.4.2
rfc3986                   1.5.0
rich                      13.6.0
rpds-py                   0.12.0
rsa                       4.9
safetensors               0.4.0
scikit-learn              1.3.2
scipy                     1.11.3
segments                  2.2.1
semantic-version          2.10.0
sentencepiece             0.1.99
setuptools                68.2.2
shellingham               1.5.4
six                       1.16.0
sniffio                   1.3.0
soundfile                 0.12.1
starlette                 0.27.0
sympy                     1.12
tabulate                  0.9.0
tensorboard               2.15.1
tensorboard-data-server   0.7.2
threadpoolctl             3.2.0
tiktoken                  0.5.1
tokenizers                0.14.1
tomlkit                   0.12.0
toolz                     0.12.0
torch                     2.0.1
torchaudio                2.0.2
torchvision               0.15.2

查看本地nvcc版本：

(vits2) [root@localhost ~]# nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Sun_Mar_21_19:15:46_PDT_2021
Cuda compilation tools, release 11.3, V11.3.58
Build cuda_11.3.r11.3/compiler.29745058_0

2.1 尝试不同的torch2.0版本

尝试更换多个版本的torch和cuda（11.7,11.8），问题依旧存在

torch与cuda版本对应关系查看：https://pytorch.org/get-started/locally/

2.2 调整训练配置

"batch_size": 16       ==>         "batch_size": 8

即使调整到batch_size=1，依然报错。

2.3 数据加载num_workers

num_workers=16        ==>        num_workers=0

多次调整，依然报错。

2.4 过滤数据集

Bert-VITS2语音训练语料中，不能包含英文字母，通过正则表达式过滤掉包含英文字母的语料。

# 过滤有英文字母的句子
pattern = '[a-zA-Z]'
result = re.search(pattern, content)
if result:
    print(line)
    continue

去除如果包含英文字母语料后，依然报错。

3 问题解决

降低torch版本至1.12.1

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

修改训练代码：

torch.backends.cuda.sdp_kernel("flash")
torch.backends.cuda.enable_flash_sdp(True)
torch.backends.cuda.enable_mem_efficient_sdp(
    True
)  # Not available if torch version is lower than 2.0
torch.backends.cuda.enable_math_sdp(True)

修改为：

# torch.backends.cuda.sdp_kernel("flash")
# torch.backends.cuda.enable_flash_sdp(True)
# torch.backends.cuda.enable_mem_efficient_sdp(
#     True
# )  # Not available if torch version is lower than 2.0
# torch.backends.cuda.enable_math_sdp(True)

再次运行程序，不再报错，问题解决。

4 conda环境介绍

Conda是一个开源的包管理器和环境管理系统，用于安装、运行和更新包和其依赖项。它是由Anaconda, Inc.（以前称为Continuum Analytics）创建，用于支持Python程序开发，但它也可以用来管理来自其他语言的包。Conda使得包管理和环境隔离变得简单，对于处理多个项目中的依赖关系和版本控制尤其有用。

Conda是一个强大的工具，对于管理复杂的Python项目和环境至关重要。它简化了包管理和环境设置，使得Python开发更加容易和高效。通过使用Conda，开发者可以确保他们的项目在不同机器和操作系统上都能以相同的方式运行，大大提高了项目的可移植性和可复现性。

4.1 Conda的核心功能

包管理：Conda作为包管理器，可以安装、更新和移除Python包。它通过Conda仓库，如Anaconda Cloud或Conda Forge，来获取包。
环境管理：Conda允许用户创建隔离的环境，以便于不同项目可以拥有不同的库和/或Python版本。这在处理不兼容的依赖项或不同项目的需求时非常有用。
跨平台：Conda支持Linux、OS X和Windows，并允许创建跨平台的Python环境。
开源：Conda是开源的，允许用户查看源代码并对其进行改进。

4.2 使用Conda的优势

解决依赖性问题：Conda可以自动解决包之间的依赖关系，简化了安装过程。
环境隔离：创建独立的环境可以避免包之间的版本冲突，使得项目更稳定。
易于使用：Conda的命令行界面简单直观，易于学习和使用。
广泛的包支持：Conda支持Python的许多流行库和应用程序。
社区支持：作为一个流行的工具，Conda拥有一个活跃的社区，用户可以从中找到支持和资源。

4.3 Conda环境的创建和管理

创建新环境：使用conda create命令创建一个新环境，可以指定Python版本和所需的包。
激活环境：使用conda activate命令来激活环境。
安装包：在激活的环境中使用conda install命令来安装新的包。
环境列表：使用conda env list来查看所有可用的Conda环境。
移除环境：使用conda env remove命令来移除不再需要的环境。

4.4 应用场景

数据科学和机器学习：Conda非常适合于数据科学和机器学习项目，这些项目通常需要多个库和框架。
软件开发：软件开发者使用Conda来管理项目依赖，确保一致的开发环境。
教学和学术研究：教师和研究人员使用Conda来创建具有特定库和工具的环境，用于教学和研究。

4.5 常用命令

Conda 是一个开源的包管理器和环境管理器，广泛用于管理Python环境和包。以下是一些常用的 Conda 命令：

安装 Conda 包:
- conda install [package-name]: 安装指定的包。
创建和管理环境:
- conda create --name [env-name]: 创建一个新的环境。
- conda activate [env-name]: 激活指定环境。
- conda deactivate: 退出当前环境。
- conda env list: 列出所有可用的环境。
管理包:
- conda list: 在当前环境中列出所有已安装的包。
- conda update [package-name]: 更新指定的包。
- conda remove [package-name]: 移除指定的包。
搜索包:
- conda search [package-name]: 搜索可用的包版本。
环境导出和导入:
- conda env export > environment.yml: 导出当前环境的配置到一个YAML文件。
- conda env create -f environment.yml: 使用YAML文件创建一个新环境。
更新 Conda:
- conda update conda: 更新 Conda 到最新版本。
查看 Conda 信息:
- conda info: 显示关于 Conda 的信息。

智慧医疗

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
conda环境下Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions问题解决

Bert-VITS2语音训练语料中，不能包含英文字母，如果包含英文字母，则可能出现以上问题，通过正则表达式过滤掉包含英文字母的语料，问题解决。经过尝试发现，只保留一个人的100句语料进行语音训练，没有发生问题。尝试更换多个版本的torch和cuda，问题依旧存在。查看cuda和torch的版本。
复制链接

扫一扫