音频文件按照正常语句,断句拆分的处理方法

关于录音文件断句分割的方法

前言

最近看讲座听在线英文电台的时候总有个想法,
讲座能不能自动记笔记?
电台能不能自动配中英文翻译对照字幕?
当然,这些东西,在一些软件里其实已经实现了的。

只是找不到能直接MP3转文本,免费又方便的,所以想用python来写点东西。
好在讯飞和百度都提供了免费的API可以调用。
这里用了一下百度语音识别的(讯飞不上传身份证认证只能用100条,身份证没带在身边)

百度语音识别目前对文件有上传有格式要求:
1、 pcm格式。这个用ffmpeg转就好了,百度自带的文档已经提到了
2、单个文件长度不能超过1分钟,所以我们需要把MP3之类的音频文件切成一段一段的,然后提交给百度语音识别。

寻找工具或代码

切分语音不难,问题在于怎么能不把一句话切成两半,或者一个词或字切成两半。

本身不是科班出身,也没做过语音处理,不知道是搜的不对还是什么,搜索语音分割这几个字,就没找到太合适东西。
1、百度文档里面提到的 speech-vad-demo在win上配好了环境,报错:pthread.h: No such file or dire ctory,检索了一下大概是这个是linux环境才能提供的东西,没去研究怎么配。
2、找到个pyAudioAnalysis 报错 'ascii' codec can't decode byte 0xef
3、找到个py_speech_seg 跑默认例子还行,但实际用的时候,效果就不太好了,可能是不太会用。

音频这个东西,看波形都能看出来有没有声音,只是简单的按照有没有声音切分,应该是比较容易的东西,怎么网上都没有教程呢?直到找到了这篇文章,作者讲解了一下python的pydub库分割语音的方法,这才终于是找到了。

正文:按语音停顿切分

直接用pydub库,实现拆分的核心就是这一行代码:
这里silence_thresh是认定小于-70dBFS以下的为silence,发现小于-70dBFS部分超过 700毫秒,就进行拆分。

from pydub.silence import split_on_silence
chunks = split_on_silence(sound,min_silence_len=700,silence_thresh=-70)

2019-5-7补充下面一段代码。。
如果想要具体测试一下split_on_silence效果的,可以用以下代码:
自行调整参数测试分割效果。

from pydub import AudioSegment
from pydub.silence import split_on_silence
import os

# 初始化
audiopath = "C:/Users/L/Desktop/test/test.mp3"
audiotype = 'mp3' #如果wav、mp4其他格式参看pydub.AudioSegment的API
# 读入音频
print('读入音频')
sound = AudioSegment.from_file(audiopath, format=audiotype)
sound = sound[:3*60*1000] #如果文件较大,先取前3分钟测试,根据测试结果,调整参数
# 分割 
print('开始分割')
chunks = split_on_silence(sound,min_silence_len=300,silence_thresh=-70)#min_silence_len: 拆分语句时,静默满0.3秒则拆分。silence_thresh:小于-70dBFS以下的为静默。
# 创建保存目录
filepath = os.path.split(audiopath)[0]
chunks_path = filepath+'/chunks/'
if not os.path.exists(chunks_path):os.mkdir(chunks_path)
# 保存所有分段
print('开始保存')
for i in range(len(chunks)):
    new = chunks[i]
    save_name = chunks_path+'%04d.%s'%(i,audiotype)
    new.export(save_name, format=audiotype)
    print('%04d'%i,len(new))
print('保存完毕')

这样可以快速对分割效果进行测试,并得出结论。

读入音频
开始分割
开始保存
0000 110
0001 7880
0002 17912
0003 152607
保存完毕
[Finished in 14.5s]

================================================================

至于下面这么长的代码,是针对百度语音识别写的,
按句拆分,尽量拆成接近1分钟的文件,后续用于识别。具体都在注释里。
为了测试,找了个讲座视频,长度30分钟左右,语音比较清晰,语速也适中的,转成wav格式,拿来测试。

2019-12-21 这两天想快速过一遍某个长达1个月的视频教程,就又用到了这个代码。结果发现chunk_split_length_limit这个函数之前写的太乱,自己看着都费劲,于是重写了一下这个函数并加了标注。

from pydub import AudioSegment
from pydub.silence import split_on_silence
import sys
import os


def main():
    # 载入
    name = '1.wav'
    sound = AudioSegment.from_wav(name)
    #sound = sound[:3*60*1000] # 如果文件较大,先取前3分钟测试,根据测试结果,调整参数
    
    # 设置参数
    silence_thresh=-70      # 小于-70dBFS以下的为静默
    min_silence_len=700     # 静默超过700毫秒则拆分
    length_limit=60*1000    # 拆分后每段不得超过1分钟
    abandon_chunk_len=500   # 放弃小于500毫秒的段
    joint_silence_len=1300  # 段拼接时加入1300毫秒间隔用于断句
    
    # 将录音文件拆分成适合百度语音识别的大小
    total = prepare_for_baiduaip(name,sound,silence_thresh,min_silence_len,length_limit,abandon_chunk_len,joint_silence_len)

def prepare_for_baiduaip(name,sound,silence_thresh=-70,min_silence_len=700,length_limit=60*1000,abandon_chunk_len=500,joint_silence_len=1300):
    '''
    将录音文件拆分成适合百度语音识别的大小
    百度目前免费提供1分钟长度的语音识别。
    先按参数拆分录音,拆出来的每一段都小于1分钟。
    然后将,时间过短的相邻段合并,合并后依旧不长于1分钟。

    Args:
        name: 录音文件名
        sound: 录音文件数据
        silence_thresh: 默认-70      # 小于-70dBFS以下的为静默
        min_silence_len: 默认700     # 静默超过700毫秒则拆分
        length_limit: 默认60*1000    # 拆分后每段不得超过1分钟
        abandon_chunk_len: 默认500   # 放弃小于500毫秒的段
        joint_silence_len: 默认1300  # 段拼接时加入1300毫秒间隔用于断句
    Return:
        total:返回拆分个数
    '''

    # 按句子停顿,拆分成长度不大于1分钟录音片段
    print('开始拆分(如果录音较长,请耐心等待)\n',' *'*30)
    chunks = chunk_split_length_limit(sound,min_silence_len=min_silence_len,length_limit=length_limit,silence_thresh=silence_thresh)#silence time:700ms and silence_dBFS<-70dBFS
    print('拆分结束,返回段数:',len(chunks),'\n',' *'*30)

    # 放弃长度小于0.5秒的录音片段
    for i in list(range(len(chunks)))[::-1]:
        if len(chunks[i])<=abandon_chunk_len:
            chunks.pop(i)
    print('取有效分段:',len(chunks))

    # 时间过短的相邻段合并,单段不超过1分钟
    chunks = chunk_join_length_limit(chunks,joint_silence_len=joint_silence_len,length_limit=length_limit)
    print('合并后段数:',len(chunks))

    # 保存前处理一下路径文件名
    if not os.path.exists('./chunks'):os.mkdir('./chunks')
    namef,namec = os.path.splitext(name)
    namec = namec[1:]

    # 保存所有分段
    total = len(chunks)
    for i in range(total):
        new = chunks[i]
        save_name = '%s_%04d.%s'%(namef,i,namec)
        new.export('./chunks/'+save_name, format=namec)
        # print('%04d'%i,len(new))
    print('保存完毕')

    return total




def chunk_split_length_limit(chunk,min_silence_len=700,length_limit=60*1000,silence_thresh=-70):
    '''
    将声音文件按正常语句停顿拆分,并限定单句最长时间,返回结果为列表形式
    Args:
        chunk: 录音文件
        min_silence_len: 拆分语句时,静默满足该长度,则拆分,默认0.7秒。
        length_limit:拆分后单个文件长度不超过该值,默认1分钟。
        silence_thresh:小于-70dBFS以下的为静默
    Return:
        done_chunks:拆分后的列表
    '''
    todo_arr = []   #待处理
    done_chunks =[] #处理完
    todo_arr.append([chunk,min_silence_len,silence_thresh])

    while len(todo_arr)>0:
        # 载入一个音频
        temp_chunk,temp_msl,temp_st = todo_arr.pop(0)
        # 不超长的,算是拆分成功
        if len(temp_chunk)<length_limit:
            done_chunks.append(temp_chunk)
        else:
            # 超长的,准备处理
            # 配置参数
            if temp_msl>100: # 优先缩小静默判断时常
                temp_msl-=100
            elif temp_st<-10: # 提升认为是静默的分贝数
                temp_st+=10
            else:
                # 提升到极致还是不行的,输出异常
                tempname = 'temp_%d.wav'%int(time.time())
                chunk.export(tempname, format='wav')
                print('万策尽。音长%d,静长%d分贝%d依旧超长,片段已保存至%s'%(len(temp_chunk),temp_msl,temp_st,tempname))
                raise Exception
            # 输出本次执行的拆分,所使用的参数
            msg = '拆分中 音长,剩余[静长,分贝]:%d,%d[%d,%d]'%(len(temp_chunk),len(todo_arr),temp_msl,temp_st)
            print(msg)
            # 拆分
            temp_chunks = split_on_silence(temp_chunk,min_silence_len=temp_msl,silence_thresh=temp_st)
            # 拆分结果处理
            doning_arr = [[c,temp_msl,temp_st] for c in temp_chunks]
            todo_arr = doning_arr+todo_arr

    return done_chunks



def chunk_join_length_limit(chunks,joint_silence_len=1300,length_limit=60*1000):
    '''
    将声音文件合并,并限定单句最长时间,返回结果为列表形式
    Args:
        chunk: 录音文件
        joint_silence_len: 合并时文件间隔,默认1.3秒。
        length_limit:合并后单个文件长度不超过该值,默认1分钟。
    Return:
        adjust_chunks:合并后的列表
    '''
    # 
    silence = AudioSegment.silent(duration=joint_silence_len)
    adjust_chunks=[]
    temp = AudioSegment.empty()
    for chunk in chunks:
        length = len(temp)+len(silence)+len(chunk) # 预计合并后长度
        if length<length_limit: # 小于1分钟,可以合并
            temp+=silence+chunk
        else: # 大于1分钟,先将之前的保存,重新开始累加
            adjust_chunks.append(temp)
            temp=chunk
    else:
        adjust_chunks.append(temp)
    return adjust_chunks


if __name__ == '__main__':
    main()


跑了一下效率有点低用了6分钟,6分钟才分割完,也许是拿来处理的文件比特率太高了?
听了一下分割的基本还可以。
这里写图片描述

百度语音识别

把 wav 语音都用 ffmpeg 转码成 pcm 的。
ffmpeg 这么好的东西,每当转换的时候,首先就应该想起它,处理视频转码什么的毫无压力。
后续看到百度语音识别的文档,发现推荐的也是ffmpeg。

import subprocess
# wav 文件转 16k 16bits 位深的单声道pcm文件
subprocess.call('ffmpeg -y  -i 16k.wav  -acodec pcm_s16le -f s16le -ac 1 -ar 16000 16k.pcm')

然后pip install baidu-aip,安装百度语音识别的python库。
怎么用还是看这里的官方文档
创建一个应用,拿到APP_ID, API_KEY, SECRET_KEY 然后按照文档获取就行了

from aip import AipSpeech
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
sound = with open(filePath, 'rb') as fp:fp.read()
d = client.asr(sound , 'pcm', 16000, {'dev_pid': '1536',})

返回的是json,result = d['result'][0]就拿到了语音识别结果。

效果

拆出来的34个文件,识别一共用了7分钟。
这里写图片描述
识别出来的效果和我想的差不多,大致正确。随便截一段,看了一下,有的能猜出来是什么,有的就不太通顺了。如果想当笔记用,还是需要校对一下的。
这里写图片描述

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值