iOS AI智能对话项目(一边设备开外放声音,一边录音降噪)

本文记录了一个iOS AI智能语音对话项目的实现过程,包括利用webSocket发送和接收语音,以及在外放MP3音频的同时进行降噪录音。重点讨论了音频场景设置,如AVAudioSession的使用,以及录音和播放的实现,尤其是如何通过Audio Unit实现录音降噪,避免外放声音混入。
摘要由CSDN通过智能技术生成

前言

前段时间写了一个Ai 智能语音对话场景的项目,现在做一个记录。
项目需求
1.利用webSocket 发送和接收语音。
2.接收的文件为MP3,发送的音频格式为PCM。
3.录音要求降噪。
4.接收的音频要求外放。

看到项目需求1和2都很好实现,但是3和4就有点不好做了,外放的同时还要录音并且录音要降噪,不能掺杂外放声音。

实现

一 、了解iOS录音和播放

1、iOS webSocket Facebook开源webSocket地址 利用其来实现接收和发送录音文件。
2、iOS mobile-ffmpeg ffmpeg 开源地址 利用其处理接收到的MP3文件用于播放。

现在开始考虑如何实现设备外放的同时录音并且录音要降噪,不能掺杂外放声音。
iOS 常用的录音和播放方式有3种
1)AVFoundation框架中的AVAudioRecorder 、AVAudioPlayer
2) AudioToolBox 中的AudioQueue
3)Audio Unit
它们的层级如下图

在这里插入图片描述

二、项目重点

1)音频场景设置

我们再理解一下 AVAudioSession ,了解一下音频的场景七大类来设置我们需要的场景,而这七类肯定是不能满足所有的需求的。CoreAudio提供的方法是,首先定下七种的一种基调,然后在进行微调。

以下是项目中场景需要的设置。

    AVAudioSession* audioSession =
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值