总体技术架构
下图是整体转换流程:
先将mp4视频文件,通过ffmpeg工具库,批量转换为pcm音频文件(语音识别服务仅支持该格式)
基于百度云的技术,将pcm文件上传到百度对象存储BOS中,并将日志等记录到本地mysql数据库。
pcm文件上传完毕后,调用免费的语音识别(录音转写)服务,创建离线录音转写任务。
查询转写成功的任务,并将相关转写结果存储到本地mysql库中。
基于docx4j库,将数据库中的录音转写结果,导出为规范化的word文档。
转换结果示例
我们这里实现的是将 《托马斯和他的朋友们第18季》20集MP4视频,最终转换为一个word故事文档:
下面是第一集具体对话文本表格:
视频转音频
视频转音频基于ffmpeg库来实现。ffmpeg是一个强大的跨平台音视频记录、转换方案(官网说法:A complete, cross-platform solution to record, convert and stream audio and video)
ffmpeg主要是以命令行模式来实现音视频转换和处理,我们这里实现的功能有:
将mp4文件中片头和片尾音乐剔除,截取中间片段。
将截取后的mp4文件,转换为pcm文件。
基于ffplay验证pcm可播放情况。
截取mp4文件中间片段的命令基本格式为:
ffmpeg -ss [start] -i [input] -t [duration] -c copy [output]
ffmpeg -ss [start] -i [input] -to [end] -c copy [output]
语言
方法
3705
2012.07.28 09-37-46
# 例如,以下是将t1801.mp4文件,截取从第30秒开始,截