语音识别--使用YAMNet识别环境音

⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计3077字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

使用YAMNet识别环境音

---

一、任务需求

YAMNet是一个预训练的深度神经网络，可以从521 个类别中预测音频事件，例如笑声、吠叫或警报声。

YAMNet采用MobileNetV1深度可分离卷积架构。它可以使用音频波形作为输入，并对来自AudioSet语料库的 521 个音频事件中的每一个进行独立预测。

在内部，该模型从音频信号中提取“帧”并批量处理这些帧。此版本的模型使用 0.96 秒长的帧，每 0.48 秒提取一帧。

该模型接受包含任意长度波形的一维 float32 张量或 NumPy 数组，表示为范围内的单通道（单声道）16 kHz 样本[-1.0, +1.0]。本教程包含帮助我们将 WAV 文件转换为支持格式的代码。

该模型返回 3 个输出，包括类分数、嵌入（我们将用于迁移学习）和对数梅尔谱图。

YAMNet 的一个特定用途是作为高级特征提取器 - 1,024 维嵌入输出。我们将使用基础 (YAMNet) 模型的输入特征，并将它们输入由一个隐藏tf.keras.layers.Dense层组成的较浅层模型。然后，我们将使用少量数据训练网络以进行音频分类，而无需大量标记数据和端到端训练。

首先，我们将测试模型并查看对音频进行分类的结果。然后，我们将构建数据预处理管道。

要求：加载并使用 YAMNet 模型进行推理。 使用 YAMNet 嵌入构建一个新模型来对环境音进行分类。 评估并导出您的模型。

二、任务目标

1、学习TF Hub使用

2、学习YAMNet网络

3、学习tf模型推理

三、任务环境

1、jupyter开发环境

2、python3.6

3、tensorflow2.4

四、任务实施过程

1、导入 TensorFlow 和其他库

这里我们要载入tensorflow_io，帮助我们轻松地从磁盘加载音频文件。

import os

from IPython import display
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_io as tfio