一、概述
本文的需求来自于标注团队对于音频文件的标注,需要将音频准确定位到毫秒位置进行内容标注,方便团队训练Ai模型
而产品也对标注功能提出了三项不可妥协的需求:
1、波形图必须基于音频原WAV无损格式进行绘制,避免音频压缩格式带来的损失,影响AI训练
2、尽可能减少标注人员标注时的等待时间,在标注团队带宽受限的情况下依然保证1分钟以内的等待时间。
3、满足不同大小音频的标注需求,音频切割将使训练产生问题
这三项不可妥协的要求带来了很高的挑战,而针对不同大小的音频也是处于不同阶段提出的需求,所以有了本文面对不同需求的音频解析处理的方案
复杂的问题要拆开来解决,波形图的绘制可以拆分为两部分:
1、波形数据的获取。
2、使用canvas依据PCM数据绘制出线条(音频可视化)
canvas绘制部分本文暂时不讲,拿到音频数据后根据数据后,根据数据美化画线条就可以了。
音频数据的获取按难度划分几个技术方案
二、基本概念
为了方便理解,需要补充几项基本概念
1、波形图绘制依赖的是音频PCM编码
PCM 脉冲编码调制是Pulse Code Modulation的缩写。脉冲编码调制是数字通信的编码方式之一。主要过程是将话音、图像等模拟信号每隔一定时间进行取样,使其离散化&#x