VGGish代码解读

最新推荐文章于 2025-03-01 20:00:00 发布
最新推荐文章于 2025-03-01 20:00:00 发布
阅读量6.1k 收藏 20
点赞数 1
文章标签： tensorflow 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stef729/article/details/106216902
版权
本文介绍了VGGish模型，它是一个在AudioSet数据集上预训练的模型，用于音频事件检测。VGGish将音频波形转化为128维的embedding特征，便于后续处理。文章简要概述了AudioSet数据库的重要性和规模，并对比了与其他大型数据集如ImageNet、YouTube-8M的关系。同时，详细描述了VGGish的框架，包括模型定义、参数、音频特征提取和转换过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在看音频信号处理的相关工作，看到VGGish方法，网上的资料不是很多，做个总结。参考了以下文章

https://zhuanlan.zhihu.com/p/111996722

https://www.zhihu.com/question/56816282/answer/150639596

1 VGGish项目简介

AudioSet 由Google的声音理解团队于2017年3月发布，旨在为音频事件检测提供常见的大规模评估任务，并为全面的声音事件词汇提供起点。 AudioSet是一个由200万个人标记的10秒YouTube视频音轨组成的数据集，其标签来自600多个音频事件类的本体。

Vggish模型是在YouTube的AudioSet数据预训练得到模型。 Vggish项目地址：

https://github.com/tensorflow/models/tree/master/research/audioset/vggish

Google发刚刚布的AudioSet数据库在音频处理领域具有重大意义，可以说，AudioSet数据库是音频领域的ImageNet。可以预见，未来几年音频领域将有大量研究和突破。

        与音频处理十分相似的是语音识别，IBM和微软

最低0.47元/天 解锁文章
包子鸡蛋
关注
[总结] Vggish对音频特征的提取
心宝的博客
03-15 3598
VGGish提取特征过程 输入数据为wav音频文件，音频文件的特征提取过程如下： 1. 将音频重采样为16kHz单声道音频； 2. 使用25 ms的Hann时窗，10 ms的帧移对音频进行短时傅里叶变换得到频谱图； 3. 通过将频谱图映射到64阶mel滤波器组中计算mel声谱； 4. 计算 log(mel-spectrum + 0.01)，得到稳定的 mel 声谱，所加的 0.01 的偏置是为了避免对 0 取对数； 5. 然后这些特征被以 0.96s的时长被组帧，并且没有帧的重叠，每一帧都包含.
vggish语音向量表示；moviepy视频音频提取；moviepy|cv2间隔帧采样图像；pytorch获取图像预训练模型向量
weixin_42357472的博客
05-11 1602
数据集： imgnet图像；audioset音频；youtube-8m视频 vggish或者yamnet基于audioset训练得到的预训练模型 参考： https://zhuanlan.zhihu.com/p/368632852 https://github.com/tensorflow/models/tree/master/research/audioset/vggish 使用： 安装相关库 pip install numpy resampy tensorflow tf_slim six soundfi
推荐文章：VGGish - 声音分类的VGG风格模型
gitblog_00019的博客
06-26 1017
推荐文章：VGGish - 声音分类的VGG风格模型 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 VGGish 是一个由Keras和TensorFlow后端实现的音频分类模型，灵感来源于AudioSet项目。这个开源库提供了一个预训练模型，旨在帮助开发者和研究人员在音频处理领域进行深度学习。它包括两个版本的预训练权重，一个是带有顶部全连接层的完整模型，另一个是仅...
音频向量：VGGish（Pytorch）
weixin_52898169的博客
01-13 5460
谷歌在 2017 年公开了大规模音频数据集AudioSet，包含了大约 210 万个长度为 10 秒的声音片段和 527个标签。随即谷歌使用该数据集进行预训练，最终得到 VGGish 模型用于音频的特征提取。Tensorflow 官方 github 收录了 VGGish 的源代码，并且在Tensorflow Hub上提供了用于音频向量化的 VGGish 模型接口。 那如何在 Pytorch 框架中实现并使用 VGGish 呢？网上有一些关于 VGGish 在 Pytorch 中的介绍与实现，但我体验下...
Pytorch 第七回：卷积神经网络——VGG模型
最新发布
zhuwenlong130130的博客
03-01 1800
本次开启深度学习第七回，基于Pytorch的VGG卷积神经网络模型。在上回当中，大致讲解了AlexNet卷积神经网络的思路。但AlexNet模型需要一层层去搭建，并没有给大家提供一个通用性的模板，因此这次给大家分享一个具有通用模板的经典卷积神经网络模型——VGG卷积神经网络模型。 本次学习，借助的平台是PyCharm 2024.1.3，python版本3.11 numpy版本是1.26.4，pytorch版本2.0.0+cu118
一篇小论文:VGGish-BiGRU网络
Sohu564的博客
04-12 3911
github:在这里(含代码和论文) Step1：mel_features.py import numpy as np def frame(data, window_length, hop_length): num_samples = data.shape[0] num_frames = 1 + int(np.floor((num_samples - window_length) / hop_length)) shape = (num_frames, window_length) +
VGGish:在带有tf后端的keras中实现vggish
04-30
VGGish：类似于VGG的音频分类模型 该存储库提供了一个VGGish模型，该模型在带有tensorflow后端的Keras中实现。 该存储库是基于的模型开发的。 有关更多详细信息，请访问。 Keras h5py中的预训练权重： 与所述顶部完全连接层 没有顶部完全连接层 参考： Gemmeke，J。等。 等， ，ICASSP 2017 Hershey，S。等。 等人， ，ICASSP 2017
使用vggish预训练网络 / 提取模型各层音频特征 Pytorch篇
weixin_45756794的博客
03-22 5041
使用vggish预训练网络提取音频特征 Pytorch篇## 标题 文章目录前言使用步骤：一、模型导入二、调用特征提取函数2.读入数据 前言 在github搜索vggish并选择收藏量最多，链接如下 添加链接描述 使用步骤： 一、模型导入 如链接中教程所示： import torch model = torch.hub.load('harritaylor/torchvggish', 'vggish') model.eval() # Download an example audio file impo
vggish目标识别
纸上得来终觉浅，绝知此事要躬行
05-12 908
Mathworks官网实例链接vggish 这个实例用到两个工具箱：Audio Toolboxs 和 DeepLearning Toolboxs 下载并解压缩VGGish的音频工具箱™模型。 在命令窗口输入 vggish 如果VGGish的Audio Toolbox模型没有安装，那么该函数将提供一个到网络权值位置的链接。 要下载模型，请单击链接。 将该文件解压缩到MATLAB路径中的某个位置，并且设置路径。 Step1： 下载并解压缩环境声音分类数据集。 该数据集由标记为10个不同音频声音类之一的录音组成
torchvggish:Google Research VGGish模型的Pytorch端口，用于提取音频特征
05-01
VGGish [1]的与torch兼容的端口，是音频分类模型的嵌入式前端功能。 权重直接从tensorflow模型移植，因此使用torchvggish创建的嵌入将是相同的。 用法 import torch model = torch . hub . load ( 'harritaylor/...
用vggish提取音频特征并保存代码
03-10
以下是使用 VGGish 提取音频特征并保存的 Python 代码示例： ```python import tensorflow as tf import numpy as np import vggish_input import vggish_params import vggish_slim # 加载 VGGish 模型 with tf....
用vggish-keras提取音频特征的代码
03-10
以下是使用vggish-keras提取音频特征的代码： ```python import numpy as np import tensorflow as tf from keras.models import Model from keras.layers import Input, Dense, Dropout, Flatten from keras....
vggish环境搭建
qq_37150142的博客
06-01 1422
vggish的github地址： https://github.com/tensorflow/models/tree/master/research/audioset/vggish numpy==1.18.4 resampy==0.2.1 tensorflow-cpu==1.15.2 tf_slim==1.1.0 six==1.15.0 soundfile==0.9.0
pytorch掉坑记录:model.eval的作用说明
09-16
主要介绍了pytorch掉坑记录:model.eval的作用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch版本利用vggish预训练网络提取音频特征
yanchujian88的博客
10-20 3850
视频多模态分类中的音频特征提取，涉及VGGish，预训练网路。
pytorch中的torch.hub.load()：以vggish为例
zly_Always_be的博客
03-26 2769
pytorch中的torch.hub.load()：加载预训练模型，以vggish为例
声音生成评价指标——使用声音分类模型评价生成声音质量（基于resnetish、VGGish、AlexNet）
Blackoutdragon的博客
09-18 863
* 这篇文章主要介绍使用resnetish和vggish对声音进行分类的代码，因为要通过分类模型的准确率来评价生成声音的质量，所以有必要好好实现一下这部分代码。需要实现如下的要求 * 不需要知道具体的代码逻辑结构，能跑就行 * 数据预处理部分 * 模型重新训练部分 * 模型测试部分汇总 * 继续弄吧，这部分是结果分析的最后一部分了，完成了这部分就可以完成整个实验的复现了。
探索TorchVGGish：音频特征学习的新工具
gitblog_00021的博客
04-27 611
探索TorchVGGish：音频特征学习的新工具 torchvggish项目地址:https://gitcode.com/gh_mirrors/to/torchvggish 是一个基于PyTorch的库，由Harriet Taylor开发，旨在为音频处理和理解提供强大的特征提取框架。该项目借鉴了谷歌的VGGish模型，将深度学习的力量引入到音频信号处理领域，帮助开发者和研究人员快速、有效地从音频...
深度学习简历面试知识——transformer、VGGish、K-means、峰值检测
m0_63997099的博客
09-20 1724
STFT：对离散化后的音频信号xnx[n]xn进行短时傅里叶变换，得到时频域特征XkmX(k, m)Xkm。梅尔频谱图：通过梅尔滤波器对功率谱PkmP(k, m)Pkm进行加权求和，得到梅尔频谱图MimM(i, m)Mim，并取对数。CNN处理：使用卷积层提取音频特征，通过池化层缩小特征图，最终通过全连接层将特征图映射为固定维度的特征向量faudiofaudio​。最终，VGGish 输出的特征向量faudiofaudio​。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值