我参加第七届NVIDIA Sky Hackathon——训练ASR模型

已于 2022-12-08 16:28:39 修改
阅读量1k 收藏 2
点赞数 5
分类专栏： The 7th Sky Hackathon 文章标签： 人工智能 大数据 Nvidia
于 2022-11-27 16:12:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42887663/article/details/128064779
版权

如何从0开始训练自己的ASR模型

第一步 获取NGC密钥
第二步 配置Ubuntu22.04的运行环境
第三步 开始训练ASR模型

文章目录

前言

Sky Hackathon由NVIDIA发起并主办，项目旨在帮助在校学生、深度学习开发者在NVIDIA Jetson边缘高性能计算产品上部署和优化人工智能应用。在经验丰富的GPU导师指导下，通过黑客松竞赛的方式学习业界所需的深度学习相关应用开发及其并行计算技能，激发学生们的学习兴趣与创新力。

NVIDIA工程师将亲自为参赛队伍带来他们对最新的深度学习与边缘计算方面的理解、行业的趋势与最新的技术应用及最新开发工具实战技能知识，在训练营中对参赛队伍进行指导。

Sky Hackathon为参加者提供了一个难得的学习并实操的机会，学习嵌入式深度学习开发所需的动手技能， 通过使用NVIDIA最新的编程模型、库和工具以加速和优化他们的AI应用程序。

相关网站：第七届NVIDIA SKy Hackathon

比赛文件资料链接： https://pan.baidu.com/s/1UADeDey1OsTvEOPE5f_2CA?pwd=a647 提取码: a647

一、获取NGC密钥

进入NGC网站：NVIDIA NGC
在这里插入图片描述
点击注册

在这里插入图片描述
登陆之后点击右上角set up
在这里插入图片描述
点击Get API Key
在这里插入图片描述
点击Generate API Key
在这里插入图片描述
这里就是你的API Key了
在这里插入图片描述

二、配置Ubuntu22.04的运行环境

1.安装 NVIDIA 驱动 460 以上版本

代码如下：

sudo apt-get install software-properties-common 
sudo add-apt-repository ppa:graphics-drivers/ppa 
sudo apt-get install nvidia-driver-460 
sudo reboot # 重启之后才会生效，重启后执行 nvidia-smi 检查驱动

2.安装 docker 与 nvidia-docker2

代码如下(安装 docker)：

sudo apt-get install -y ca-certificates curl gnupg lsb-release 
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg 
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/dockerarchive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs)stable" | ¥ $ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
# 测试安装 
sudo docker run hello-world

代码如下(安装 nvidia-docker2)：

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list 
sudo apt-get update && sudo apt-get install -y nvidia-docker2 
sudo systemctl restart docker 
# 测试安装 
sudo docker run --rm --gpus all nvidia/cuda:11.0.3-base-ubuntu20.04 nvidia-smi

如果出现以下信息，表示 docker 与 nvidia-docker2 都安装完成
在这里插入图片描述

代码如下(登录 NGC：只要登录一次就行)：

sudo docker login -u '$oauthtoken' --password-stdin nvcr.io <<< '申请的密钥'

3.安装 MiniConda3 与 Jupyter 开发环境

代码如下(安装 MiniConda)：

# 用国内清华源 
export DL_SITE=https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda # 用原厂的源 
export DL_SITE=https://repo.anaconda.com/miniconda 
# 下载安装包
wget -c $DL_SITE/Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 执行安装，全部按照预设路径与”yes”选项 
bash Miniconda3-py38_4.10.3-Linux-x86_64.sh 
# 启动 
Conda source ~/.bashrc

代码如下(安装 Jupyter Lab)：

pip install jupyter jupyterlab # 设置登录密码
export PW=’你自己要设置的密码‘
python3 -c "from notebook.auth.security import set_password; set_password('$PW','$HOME/.jupyter/jupyter_notebook_config.json')"

4.安装 NeMo 1.4.0

通过 pip 安装 GPU 版本 Pytorch 参考链接 https://pytorch.org/get-started/previous-versions/

例如 Pytorch1.12.1 版本则安装指令如下：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-indexurl https://download.pytorch.org/whl/cu113

代码如下(安装 NeMo)：

sudo apt-get update && sudo apt-get install -y libsndfile1 ffmpeg 
pip install Cython 
pip install --user pytest-runner 
pip install rosa numpy==1.19.4 
pip install torchmetrics==0.6.0 
pip install nemo_toolkit[all]==1.4.0 
pip install ASR-metrics

代码如下(检测NeMo)：

python
import nemo
import nemo.collections.asr as nemo_asr

若没有报错表示安装成功（warning 不用理会）

5.安装 TAO 模型训练优化工具：用 Python 与 Virtualenv

代码如下(安装 virtualenv 虚拟环境：这是确保 TAO 有独立的 Python 执行环境，为配合 Nemo 工 具使用 Python 3.8 的 MiniConda 安装，因此这里的 virtualenv 也绑定在 MiniConda 的 Python3 上)：

pip install virtualenv virtualenvwrapper 
# 创建目录用来存放虚拟环境 
mkdir $HOME/.virtualenvs 
# 在~/.bashrc 中添加行： 
export WORKON_HOME=$HOME/.virtualenvs export VIRTUALENVWRAPPER_PYTHON=$HOME/miniconda3/bin/python3 
source $HOME/miniconda3/bin/virtualenvwrapper.sh 
# 保存并退出 
source ~/.bashrc 
# 创建名为”tao”的 Virtualenv 
mkvirtualenv tao -p $HOME/miniconda3/bin/python3

代码如下(安装 TAO 模型训练工具)：

# 确认在 ”tao” 的 Virtualenv 环境下，如果不在的话就执行以下指令 
workon tao 
# 安装 nvidia-pyindex 与 nvidia-tao 
pip3 install nvidia-pyindex 
pip3 install nvidia-tao 
# 检查安装 
tao info

代码如下(启动 TAO 模型训练工具 Jupyter 交互界面)：

# 启动名为 “tao” 的 virtualenv 
workon tao 
# 进入工作目录并启动 Jupyter Lab 
cd ~/hackathon && jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

输入您先前设置的密码就能进去，进入 Jupyter Lab 之后是以~/hackathon 为根目录

代码如下(启动Jupyter)：

jupyter lab --ip 0.0.0.0 --port 8888 --allow-root

代码如下(进入Jupyter)：

在ubuntu的终端输入ip address

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp8s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether b4:a9:fc:6c:6b:5e brd ff:ff:ff:ff:ff:ff
3: wlp0s20f3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 40:ec:99:20:b5:61 brd ff:ff:ff:ff:ff:ff
    inet 10.20.113.129/22 brd 10.20.115.255 scope global wlp0s20f3
       valid_lft forever preferred_lft forever
    inet 192.168.1.206/24 brd 192.168.1.255 scope global dynamic noprefixroute wlp0s20f3
       valid_lft 79725sec preferred_lft 79725sec
    inet6 2409:8a02:6068:880:4691:5ea5:dbf9:3151/64 scope global temporary dynamic 
       valid_lft 259087sec preferred_lft 79410sec
    inet6 2409:8a02:6068:880:ff41:1037:c6e5:bd3b/64 scope global dynamic mngtmpaddr noprefixroute 
       valid_lft 259087sec preferred_lft 259087sec
    inet6 fe80::f0ce:78ab:12c0:d59e/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
4: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:10:5d:d6:56 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:10ff:fe5d:d656/64 scope link 
       valid_lft forever preferred_lft forever
22: vethd32e2b1@if21: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether f6:73:02:10:2c:98 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::f473:2ff:fe10:2c98/64 scope link 
       valid_lft forever preferred_lft forever
30: veth442d3b9@if29: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether 1e:66:e8:63:24:11 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::1c66:e8ff:fe63:2411/64 scope link 
       valid_lft forever preferred_lft forever
34: veth7c78114@if33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether 9a:a2:4d:ac:13:0a brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet6 fe80::98a2:4dff:feac:130a/64 scope link 
       valid_lft forever preferred_lft forever

我这里的ip是192.168.1.206
在浏览器里面输入

192.168.1.206:8888

就能进入Jupyter Lab了

三、开始训练ASR模型

1.制作数据集

数据集格式——json文件格式

{
"audio_filepath":"your_path",
"duration":time,
"text":"your_text"
}

利用librosa获取其语音
注意：音频为单声道，wav格式，采样率建议44100HZ

# 导入librosa音频工具包获取音频时长,用于制作语音数据集
import librosa 
time = librosa.get_duration(filename="你音频的路径")
print(time)

最后数据集文件结构
├── Datasets
│├── audio.wav 所有的语音文件(wav单声道格式)
│├── xxx.json 制作好的json文件

2.对其进行训练

导入基本包

import nemo
nemo.__version__
import torch
torch.__version__
torch.cuda.is_available()
import nemo.collections.asr as nemo_asr

加载数据清单

#将制作好的json格式的数据清单加载进来
train_manifest = "your_path/xxx.json"
test_manifest = "your_path/xxx.json"

加载quartznet文件

# 使用YAML读取quartznet模型配置文件
try:
    from ruamel.yaml import YAML
except ModuleNotFoundError:
    from ruamel_yaml import YAML
config_path ="/root/config/quartznet_15x5_zh.yaml"

yaml = YAML(typ='safe')
with open(config_path) as f:
    params = yaml.load(f)
print(params)

将数据清单传给配置文件

params['model']['train_ds']['manifest_filepath']=train_manifest
params['model']['validation_ds']['manifest_filepath']=test_manifest

使用迁移学习的方法训练模型

quartznet.setup_training_data(train_data_config=params['model']['train_ds'])
quartznet.setup_validation_data(val_data_config=params['model']['validation_ds'])
import pytorch_lightning as pl 
trainer = pl.Trainer(gpus=1,max_epochs=200)
trainer.fit(quartznet)#调用‘fit’方法开始训练

保存训练好的模型

quartznet.save_to("7th_asr_model.nemo")# 将训练好的模型保存为.nemo格式

将训练好的模型进行重载

try_model_1 = nemo_asr.models.EncDecCTCModel.restore_from("7th_asr_model.nemo")#对模型进行重新加载

预测语音

asr_result = try_model_1.transcribe(paths2audio_files=["your_wav_path"])
print(asr_result)

计算其正确率

from ASR_metrics import utils as metrics
s1 = "请检测出纸箱果皮和瓶子"#指定正确答案
s2 = " ".join(asr_result)#识别结果
print("字错率:{}".format(metrics.calculate_cer(s1,s2)))#计算字错率cer
print("准确率:{}".format(1-metrics.calculate_cer(s1,s2)))#计算准确率accuracy

总结

以上就是第七届NVIDIA Sky Hackathon的配置环境和训练ASR模型的部分，在制作时要注意json文件的格式，还有音频的格式，这些细小的部分都可能成为bug的发生地

Sol-itude
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
第六届Sky Hackathon知识图谱
05-21
总的来说，第六届Sky Hackathon涵盖了从环境搭建、数据处理、模型训练到模型部署的完整AI应用流程，特别关注了语音识别和物体识别领域，利用NVIDIA的NEMO和TAO工具，为参赛者提供了高效训练和优化模型的平台。...
hackathon7:第七届 peercast 黑客马拉松
06-15
第七届 peercast 黑客马拉松 目标 制作降价符号。 在一定程度上限制语法类型（正常、特殊、效果、块） 可以通过注册类型和规则来注册语法，强调可定制性和听众参与！ 成就 可以说核心部分（md.js，注册语法的机制...
NeMo中文/英文ASR模型微调训练实践
08-12 988
{"audio_filepath": "test.wav", "duration": 8.69, "text": "诶前天跟我说昨天跟我说十二期利率是多少工号幺九零八二六十二期的话零点八一万的话分十二期利息八十嘛"}s1 = "诶前天跟我说昨天跟我说十二期利率是多少工号幺九零八二六十二期的话零点八一万的话分十二期利息八十嘛"#指定正确答案。#['诶前天跟我说的昨天跟我说十二期利率是多少工号幺九零八二六零十二期的话零点八一万的话分十二期利息八十嘛']10.增加标点符号输出。7.保存训练好的模型。
Wav2Vec2 是自动语音识别 (ASR) 的预训练模型
Gefangenes的博客
07-05 2410
是自动语音识别 (ASR) 的预训练模型，由和于发布。其在最流行的 ASR 英语数据集之一上展示了 Wav2Vec2 的强大性能后不久，就推出了 Wav2Vec2 的两个多语言版本，称为和，能够识别多达 128 种语言的语音。XLSR 代表跨语言语音表示，指的是模型学习跨多种语言有用的语音表示的能力。Meta AI 的最新版本，，由等人编写。将多语言语音表示提升到一个新的水平。通过发布的各种，可以识别、转录和生成超过 1,100 多种口语。
ASR: DNN训练 & kaldi 神经网络
hdm314的博客
09-17 328
https://www.jianshu.com/p/c5fb943afaba
数据准备（快速构建ASR系统）
lujian1989的专栏
01-03 3478
在自己拿到语音数据后，快速构建一个简单的ASR语音识别系统
Virtual Box+Centos7.0+Kaldi安装
flying_1314的博客
01-03 374
Kaldi Kaldi是一个强大的语音识别工具库(ASR)，主要由Daniel Povey开发和维护。目前支持GMM-HMM、SGMM-HMM、DNN-HMM等多种语音识别的模型的训练和预测。其中DNN-HMM中的神经网络还可以由配置文件自定义，DNN、CNN、TDNN、LSTM以及Bidirectional-LSTM等神经网络结构均可支持。 下载Kaldi 1、可参考kaldi官网：htt...
compass:在TripAdvisor实习期间，我参加了hackathon项目
05-18
在TripAdvisor实习期间，我有幸参与了一次名为“compass”的hackathon项目，这是一个充满创新和技术挑战的活动。在这个项目中，我们充分利用了JavaScript这门强大的编程语言，来构建一款能够帮助用户更好地探索旅行...
这是一个NVIDIA-阿里云的Hackathon2021竞赛项目
最新发布
10-23
在NVIDIA-阿里云的Hackathon2021竞赛中，参赛者们通常会面临一系列技术和创新挑战，旨在推动人工智能和云计算技术的发展。这个特定的项目名为"trt-fairmot-main"，从名称我们可以推测，它可能涉及到NVIDIA的TensorRT...
Hackathon-participation:这个仓库是一个显示我参加过的所有黑客马拉松的网站
05-27
序号黑客马拉松日期会场描述1个 2019年1月18-19日GTBIT 提交，失败2个 2019年2月18-19日GTBIT 提交，失败3 2019年5月4-5日牛群，航空第二名获胜4 2019年七月黑客地球提交，失败5 2019年8月23-24日国际运输发展组织第...
nemo_asr_7th_hackathon.ipynb
11-14
nemo_asr_7th_hackathon.ipynb
2022夏NVIDIA_sky_hachathon 比赛复盘.zip
09-30
7. **模型部署**：一旦模型训练完成，参赛者可能将模型部署到云端或边缘设备，如使用Docker容器化技术进行环境隔离，Kubernetes进行集群管理，或者使用TensorFlow Serving实现高效的服务化。 8. **算法竞赛策略**：...
Hackathon:我的Hackathon分析
04-05
例如，通过`tidyr`库可以轻松转换数据格式，`lubridate`处理日期和时间，`caret`进行机器学习模型训练和评估。对于复杂的数据探索，`ggvis`和`shiny`可以让团队快速创建交互式可视化应用，便于演示和展示。 最后，...
hackathon-toolkit：GCP Hackathon工具包
01-30
Google Cloud Hackathon...机器学习API-使用Google预先训练的机器学习模型从数据中获取见解。具有Firebase实时数据库的移动/ Web开发平台使用Python，Node.js，Ruby和其他功能部署Web应用程序！易于使用的实时NoSQL数
gdf-hack:GDF Suez - Salesforce Hackathon 数据模型和数据文件
06-07
GDF Suez Hackathon 的数据模型以下元数据文件可用于在您的 salesforce.com 组织中创建 GDF Suez 数据模型。所有团队的重要 salesforce.com 组织注意事项请注意，开发者版组织具有 5MB 的小数据容量和每 24 小时 ...
准确率提升近4%，自研ASR模型助力公安机关筑牢反诈安全网
zhoguancunkj的博客
08-04 672
深度融合自然语言理解（NLU）、自然语言生成（NLG）、对话管理（DM）等多项核心技术，全面升级语音服务能力，通过智能打断、语音识别、多模态情感分析、智能学习、多轮对话等多维度实现高度拟人化沟通，自主识别多种对话场景，精确细分诈骗类型及潜在受害人群体，通过不同话术，实现精准劝阻，助力公安机关提升预警劝阻工作质效。针对繁重复杂的反诈预警任务，通过反诈劝阻机器人外呼开展分级、分类的劝阻处置工作，智能分析新型诈骗套路，进行智能预警，助力公安机关高效预防和打击不法分子的犯罪行为，保障公民的财产安全。
最详细的K210模型训练步骤
m0_68512456的博客
05-12 4574
大家好，相信大家在用K210开发板的时候都会遇到不会训练模型的情况，我也遇到同样的问题，现在我教一下你怎么训练自己的模型吧
K210学习笔记——语音识别
Thousand_drive的博客
07-18 4878
语音识别技术，也被称为自动语音识别AutomaticSpeechRecogntion(ASR)，是通过计算机自动将人类的语音内容转换为相应文字的技术。通俗来讲，语音识别就是机器的“耳朵”，在人与机器进行语音交流的时候，让机器听得懂人类在说什么的前提。maix_asr是一个基于声学模型的语音识别模块，用户设置拼音组成的词汇加载到模块中，就可以开始录音识别用户输入的词汇，并返回可能匹配的词汇列表。...
我参加NVIDIA Sky Hackathon（系统环境配置）
mbws__的博客
11-25 1672
有关NVIDIA Sky Hackathon流程
data hackathon 3.x
09-18
Data Hackathon 3.x是一种数据驱动型的编程比赛，旨在为参赛者提供一个展示他们在数据分析和机器学习方面技能的平台。这个比赛涉及到大量的数据处理和建模任务，参赛者需要利用给定的数据集来开发和优化模型，以解决...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sol-itude

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值