音视频dsp中对音频的处理

音频处理是一个非常细分的方向，在我做的项目中音频是一个10年经验的工程师在调。比如说先前遇到一个哭声检测算法接入后无效果的问题，音频工程师最终给出的结果是麦克风录音导致失真

---

音视频dsp做的主要是初始化Audio In、Out，在对应channel中接入算法。

• 有些需求如削顶，音量太大导致喇叭发出类似坏了的兹拉兹拉声，就是将音频工程师给出的阈值之上的音量置为阈值音量以免损坏
• 还有就是考虑到设备材料的固有频率会与喇叭低频共振（共激）导致喇叭损坏，dsp工程师还会接入HPF（High Pass Filter）滤除低频声音；
• 音频工程师给出人耳心理学模型，考虑掩蔽效应，掩蔽声音出现时将掩蔽曲线以下音量的声音屏蔽
  参考音频处理——音频编码原理简介

---

一些音频处理如调节音量、多声道、调节采样率，这一系列的编码一般都是由硬件完成，如果芯片不支持音频处理的话还需要外接一个CODEC

用软件的话也不是不可以，但是会出现很多预知以外的问题。比如一个算法突然占用很多资源， 用于软件处理音频的资源不够用，这时的音频可能会出现音量、频率波动等问题，这些问题一旦出现很难去进行排查

所以视频、音频的编码一般都是用硬件CODEC去操作