使用whisper生成音频字幕——前期准备

已于 2023-04-26 07:54:07 修改
阅读量279 收藏
点赞数
分类专栏： whisper生成音频字幕 文章标签： whisper 音视频
于 2023-04-25 17:32:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51537858/article/details/130370119
版权
请查收使用OpenAI的Whisper进行语音识别的攻略
u013250861的博客
01-03 1612
Whisper是一种令人激动的新型语言模型，采用了全新的语音识别方法，即使是低质量的音频，Whisper也能产生高质量的结果，并且对各种声音和语言的适应性极强，无需进行微调。Whisper是开源的，有一系列可用的模型尺寸，可以作为众多语音转文字应用的有效解决方案，包括翻译、智能个人助理、车辆语音控制系统、客户服务运营等等。
《Milvus Cloud向量数据库指南》——多模态融合新纪元：音频、视频与文本的无缝转换
实战AI智能体
08-01 115
多模态文本、音频、视频数据的融合与应用，是人工智能技术发展的重要方向之一。通过构建多模态RAG系统，我们不仅能够实现跨模态的信息转换与检索，还能在此基础上创造出更加丰富、生动、多样的多媒体内容。OpenAI的Whisper、TTS模型以及Sora系统等前沿技术，正是这一趋势下的杰出代表，它们不仅推动了技术的进步，更为未来的智能生活描绘了美好的蓝图。随着技术的不断成熟和完善，我们有理由相信，多模态数据处理与应用将会在更多领域展现出其独特的魅力和无限的可能。
利用python+whisper生成视频字幕文件
weixin_48169169的博客
12-14 3765
python利用openai开源模型whisper批量生成字幕文件
ChatGPT开源的whisper音频生成字幕
shelutai的博客
05-06 1862
好了，那接下来看一下whisper开源库的介绍有五种模型大小，其中四种仅支持英语，提供速度和准确性的权衡。上面便是可用模型的名称、大致的内存需求和相对速度。如果是英文版的语音，直接想转换为英文。本来我是想直接在我的本地电脑上安装环境的，也就是无非安装python、ffmpeg、以及whisper，但是发现电脑配置太低了，而且我想测试一下large模型，CPU肯定是不行，但是如果用本机的GPU也是快不到哪里去的。所以这里我想到谷歌的。
如何一键生成字幕，如何快速处理生肉资源？借助whisper语音识别系统生成.srt字幕文件 手把手教学在Windows、CPU版本下whisper的安装与使用，快速上手！
weixin_43401024的博客
03-20 7259
Whisper是Open AI开源的语音识别网络，支持98中语言，用于语音识别和翻译等任务。我们可以将歌曲的歌词进行识别，将无字幕的视频资源自动生成字母，极大方便了用户。同时，whisper可以在本地运行，充分保障了个人隐私。在识别方面也具有较准确的识别能力。因此想通过本文对whisper的安装和使用进行说明，希望能对正在学习的伙伴给予参考。从不同的测试结果可以看到，whisper的识别效果还是不错的，最后的字幕的显示结果也讨人欢喜。
基于Whisper语音识别的实时视频字幕生成 (二): 在线实时字幕
Pika
04-09 983
基于whisper的流式语音识别
使用Whisper生成视频字幕
Silver__Wolf的博客
07-24 650
Whisper是openai开源的一个通用的语音识别模型，它在不同音频的大型数据集上训练，也是一个多任务模型，可以执行多语言语音识别、语音翻译。Whisper代码地址Whisper论文地址。
政安晨【零基础玩转各类开源AI项目】：基于Ubuntu系统本地部署使用GPT-SoVITS进行语音克隆与TTS语音生成
政安晨——致力于AI人工智能数字互动领域
05-07 2986
这是一款开源的AI音色克隆框架，目前只有TTS（文字转语音）功能，将来会更新变声功能。现在介绍如何搭建部署。 类似的还有SVC（歌声转换）、SVS（歌声合成）等。目前GPT-SoVITS只有TTS功能，也就是不能唱歌。 GPT-SoVITS实现了： —— 由参考音频的情感、音色、语速控制合成音频的情感、音色、语速 —— 可以少量语音微调训练，也可不训练直接推理 —— 可以跨语种生成，即参考音频（训练集）和推理文本的语种为不同语种
有用的批量合并视频重命名以及有用的提取音频。遍历指定文件夹下所有视频文件，先合并归一化再生成包含包含说话人的srt格式的文件
东方
09-11 628
定义filename为"E:\四1班—吴希敏"遍历这个文件夹"E:\四1班—吴希敏"且包含多个层级目录的视频文件，重命名的时候把filename以及子文件夹目录的名字以及视频的名字一起命名，并统一把视频全部移动到filename下面。
AI搞钱——工具篇之视频、音频转文字
WY_记录
11-08 2661
AIGC 搞钱 工具
【whisper】在python中调用whisper提取字幕或翻译字幕到文本_python whisper
2301_82000445的博客
02-02 3388
whisper 是一款用于语音识别的开源库，支持多种语言，其中包括中文。在本篇文章中，我们将介绍如何安装 whisper 以及如何使用它来识别中文字幕。
【whisper】在python中调用whisper提取字幕或翻译字幕到文本
真的好想再回到那时，可现在能做的只有补救。————个人博客：https://w7h1te.github.io/
10-31 7543
whisper 是一款用于语音识别的开源库，支持多种语言，其中包括中文。在本篇文章中，我们将介绍如何安装 whisper 以及如何使用它来识别中文字幕。
基于whisper模型的在线添加视频字幕网站（持续更新）
qq_44445108的博客
11-20 5632
基于whisper的在线添加视频字幕网站
基于whisper的语音转文字（视频字幕）
Helloorld_1的博客
06-06 2470
由于之前在学习油管的视频的时候，发现没有字幕，自己的口语听力又不太好，所以，打算开发一个能够语音或者视频里面，提取出字幕的软件。conda env create -f environment.yaml，就可以快速创建一个conda的虚拟环境了！在寻找了很多的开源仓库，发现了openai早期发布的whisper。另外由于，需要对音频进行处理，所以我们还需要下载一个。然后解压，将bin的文件路径放到环境变量里面去。安装环境我用的anconda的方式去安装的，还需要下载模型，在仓库链接里面可以找到的！
字幕切分视频
丝萝愿为乔木的博客
07-18 1999
开口说话到，发出音，大概有13，14，12,20,帧左右的误差，也就是说有0.8S左右的误差，所以建议，如果取无声音频，end要往前挪10帧。WhisperX：跑完：143S ，11段前，对10段，18段中，对17段，5段后，对5段。一句话说完，从没有声音到完全闭上嘴，大概有5帧，8帧，10帧左右，大概有0.4S左右的误差。Tiny: 跑完：142S ，11段前，对0段，18段中，对10段，5段后，对5段。Large:跑完：941S，11段前，对0段，18段中，对2段，5段后，对4段。
【开源工具】使用Whisper提取视频、语音的字幕
少莫千华
06-11 7221
使用Whisper将提取视频、语音的字幕
不到百行代码，使用Whisper进行视频字幕生成。
qq_39761689的博客
03-01 1315
试过了不同的模型，对于将视频类容转录成英文文本效果还是不错的，翻译成中文的效果还是差了点。而且小模型容易将音乐等背景识别成字幕，medium和large这种问题相对较少，但是识别的速度很慢。所有建议使用medium模型。如果没有翻译成除英语外的其他语言的需求，建议使用medium.en英语专用模型。模型识别的内容是准确的，但是会有其他多余背景的被识别成字幕，所有在添加到视频的时候，可以对照视频进行校对后再添加到视频中。对于翻译成中文不准确这个问题，可以使用腾讯云的机器翻译进行转译，下期出。
实战whisper第二天：直播语音转字幕（全部代码和详细部署步骤）
qq_34717531的博客
03-21 5189
基于Whisper的实时直播语音转录或翻译是一项使用OpenAI的Whisper模型实现的技术，它能够实时将直播中的语音内容转录成文本，甚至翻译成另一种语言。这一过程大致分为三个步骤：捕获直播音频流、语音识别（转录）以及翻译（如果需要）。下面详细解释其原理和意义。
github开源推荐，自动字幕生成和字幕翻译工具——再也没有看不懂的片啦
热门推荐
qq_37913898的博客
06-12 1万+
github上新开源的一款字幕生成和字幕翻译的整合工具，可以根据视频中提取到的音频来转换成字幕，再根据需要将字幕进行翻译。
Qt如何使用whisper
最新发布
09-24
4. 发送消息：准备要发送的数据，然后调用Whisper的write方法： ```cpp std::string message = "Hello from Qt"; whisperClient->write(message); ``` 5. 接收消息：注册一个监听器来接收从该通道发送的消息： ``...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

终生成长者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值