nemo-conformer-subword bug调试

已于 2022-06-23 10:31:44 修改
阅读量1.6k 收藏
点赞数
分类专栏： 服务镜像迁移 文章标签： pytorch 深度学习 人工智能
于 2022-02-11 13:53:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuliqun520/article/details/122879040
版权
  1. 背景
    1. 法语asr根据英语asr反应conformer效果不quartznet效果好
    2. 法语数据没得到实质性的增长，开启模型调研
  2. 环境配置避坑 
    1. 拉取nemo官方镜像nvcr.io/nvidia/pytorch:21.05-py3，
    2. 安装nemo库pip install nemo_toolkit==1.4.0，这个是将库暗转虚拟环境
    3. 可以选择将nemo_toolkit对应的环境下在Nemo25下运行./reinstall.sh
    4. 运行docker可能回出现nccl错误，
      1. 在运行docker时候加上--ipc=host，具体参考RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_16143780837
最低0.47元/天 解锁文章
liuliqun520
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Conformer（运用在WeNet中的理解与分析）
ldy007714的博客
09-28 5017
Conformer ASR WeNet
NVIDIA开源NeMo,CUDA,pytorch安装使用过程踩坑总结
brytlevson的博客
07-26 3118
安装步骤： miconda或者anconda环境（我使用的是miconda） 查看与自己电脑驱动程序版本（我的419.71）匹配的CUDAToolkit版本（CUDA10.0） 对应版本信息查询：对应版本信息查询https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#abstract 然后到cuda官网下载对应版本，我的版本10.0 CUDA10.0版本下载：CUDA官网 https://developer.nvidia.
Docker：使用Nvidia官方的pytorch、tensorflow、TensorRT镜像创建Container容器
最新发布
u013250861的博客
02-24 2261
相信大家在学习新的知识前都遇到过开发环境安装不上，或者环境冲突和版本不匹配的情况，另外当我们想要安装多个版本的支持库时，在本地环境上直接安装往往会导致版本冲突的情况，如果我们使用虚拟机或者WSL技术新建一个完整系统，这又往往需要耗费很长时间，同时在我们学习深度学习等相关技术时，我们需要使用到显卡进行计算，虚拟机调用显卡很不方便，同时CUDA、cuDNN、cuBLAS、TensorRT等GPU计算支持库都有强版本依赖，手动安装需要耗费很长时间，因此本文介绍通过docker的容器技术来实现使用Nvidia官方提
Python库 | NEMO-3.8.0.tar.gz
05-19
资源分类：Python库 所属语言：Python 资源全名：NEMO-3.8.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
基于docker-compose和ngc cloud快速创建指定pytorch版本的jupyter-lab环境
Farm_Coder的博客
11-23 2778
基于docker-compose和ngc cloud创建jupyter-lab环境简介找到想要的容器文件目录Dockerfiledocker-compose.ymlrun.shdocker-compose构建镜像及启动容器容器的访问ssh访问浏览器访问upyter lab 简介 本博客以构建指定版本的pytorch运行环境为例，给出Dockerfile、docker-compose.yml以及启动容器的运行脚本。 找到想要的容器 从中 https://docs.nvidia.com/deeplearning
适用于ubuntu 20.04的nemo插件，nemo-share等
08-03
自编译的适用于ubuntu 20.04的nemo插件，包含： nemo-compare_4.8.0_all.deb nemo-emblems_4.8.0_all.deb nemo-image-converter_4.8.0_amd64.deb nemo-media-columns_4.8.0_all.deb nemo-share_4.8.0_amd64.deb
nemo-extensions:一组Nemo扩展
05-12
Nemo扩展 地位 nemo-wallpaper ：（内置于Nemo中） nemo-dropbox：功能 nemo-fileroller：功能 海马：功能 nemo-share：功能性 nemo-pastebin：功能性 ...nemo-audio-tab由nemo-media-columns和nemo-
nemo-training-app
06-24
nemo-training-app 此应用程序将与此处找到的材料结合使用： : 你应该从master分支开始，然后朝着after分支前进安装$ git clone git@github.paypal.com:NodeTestTools/nemo-training-app.git$ cd nemo-training-app$...
nemo-scripts：帮助程序脚本
02-25
《nemo-scripts：助力系统管理的实用脚本集》 在信息技术领域，高效管理和自动化是提升工作效率的关键。nemo-scripts正是一款为此目的设计的工具，它包含了一系列的辅助脚本，能够与Mer基础架构无缝协作，帮助用户...
nemo-packaging
04-07
【nemo-packaging】是一个专为Nemomobile UX设计的Manjaro和Arch Linux打包脚本集合。这个项目的主要目标是简化在这些基于Arch的Linux发行版上安装和维护Nemomobile应用的过程。Nemomobile是一个开源的移动操作系统...
NeMo-开源
04-26
NeMo是一款高性能的尖峰神经网络模拟器，可在启用CUDA的GPU上模拟Izhikevich神经元的网络。 NeMo是一个C ++类库，具有用于纯C，Python和Matlab的附加接口。
PyTorch-build:提供适用于各种环境的PyTorch的Docker构建序列
03-31
PyTorch构建 提供适用于各种环境的Docker PyTorch构建序列。 1. Docker映像环境 Ubuntu 20.04 x86_64 CUDA 11.2 cuDNN 8.1 PyTorch v1.8.1（从源代码构建。它将在Docker构建过程中自动下载。） TorchVision v0.9.1 TorchAudio v0.8.1 2.默认构建参数 -- -- ******** Summary ******** -- General: -- CMake version : 3.18.4 -- CMake command : /usr/local/lib/python3.8/dist-packages/cmake/data/bin/cmake -- System : Linux -- C
NVIDIA Jetson xavier安装pytorch----docker镜像方式
cumtchw
06-18 1305
1.下载镜像 首先网上搜索nvidia pytorch docker关键字,然后找到下面的结果. 然后点进去链接
pytorch学习
lantuxin的博客
02-19 5019
1.pytorch环境配置(docker) docker环境--配置过程(配置成功--能使用nvidia-docker命令) 拉取pytorch镜像--参考网站(命令--docker pull nvcr.io/nvidia/pytorch:19.01-py3) 启动docker容器--参考网站(命令--sudo nvidia-docker run -it --rm -v local_dir:...
【Docker问题】error pulling image configuration ...
裸奔小霸王的博客
06-15 589
docker pull ...timeout
对话式AI工具包Nemo简介
专注于人工智能领域的小何尚
05-31 1324
NeMo简介 NVIDIA NeMo 是一个用于构建新的最先进的对话式 AI 模型的工具包。 NeMo 有自动语音识别 (ASR)、自然语言处理 (NLP) 和文本到语音 (TTS) 模型的单独集合。 每个集合都包含预构建的模块，其中包括训练数据所需的一切。 每个模块都可以轻松定制、扩展和组合，以创建新的对话式 AI 模型架构。 对话式 AI 架构通常很大，需要大量数据和计算来进行训练。 NeMo 使用 PyTorch Lightning 进行简单且高性能的多 GPU/多节点混合精度训练。 1.系统环境
NEMO项目学习阶段总结（一）
weixin_33713707的博客
09-15 387
上学期正式进入UAIS实验室后，NEMO项目的一篇框架综述（Dejing Dou，Development of NeuroElectroMagnetic Ontologies(NEMO):A Framework for Mining Brainwave Ontologies）是我拿到的第一篇PAPER（附注：突然想起之前还有一篇“认知本体”的）。后来，这个项目成了我上个学期学习的主要内容，我和小组...
使用pytorch cuda11 cudnn8.02 Docker搭建nnUNet训练环境
u014776464的博客
10-17 2277
使用pytorch cuda11 cudnn8.02 Docker搭建nnUNet训练环境 本文目的是加速训练过程，平时使用pytorch1.6 cuda10.2训练一个epoch将近400秒，搭建好docker环境后，使用cuda11、cudnn8.0.2 的环境，一个epoch的时间只需要160秒左右。加速非常明显。 问题来源于：https://github.com/MIC-DKFZ/nnUNet/issues/292 项目主仓库 ：https://github.com/MIC-DKFZ/nnUNet
centos nemo
08-24
我很抱歉，但是我无法理解你的问题。你可以提供更多的上下文或者详细说明你的问题吗？这样我就可以更好地帮助你了。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用[.reference_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值