如何自动识别视频语音内容并生成字幕

最新推荐文章于 2024-05-09 21:54:14 发布
最新推荐文章于 2024-05-09 21:54:14 发布
阅读量1.2k 收藏 1
点赞数
文章标签： 音视频 语音识别 腾讯云
原文链接：https://cloud.tencent.com/document/product/460/86097?fromSource=gwzcw.7119104.7119104.7119104&utm_medium=cpc&utm_id=gwzcw.7119104.7119104.7119104
版权
本文介绍了如何利用腾讯云COSSDK调用语音识别服务生成视频字幕，并通过TCPlayer播放挂载字幕的视频。适用于短视频制作场景，详细阐述了从初始化SDK、创建语音识别任务到获取字幕文件的步骤，以及如何在TCPlayer中设置和播放带字幕的视频。
摘要由CSDN通过智能技术生成

概览

本文将介绍如何使用腾讯云COS SDK调用数据万象的语音识别 能力生成视频字幕文件，并使用腾讯云点播超级播放器（TCPlayer） 播放挂载了字幕的视频。

业务场景

适用于短视频制作时，原始视频无字幕，需要自动识别视频语音内容并生成字幕的场景。可应用于 PGC/UGC 平台、视频网站、短视频应用、资讯平台等对媒体内容制作有较高智能化和时效性需求的行业。

准备工作

已创建和绑定存储桶，详情请参见 存储桶操作。

已 开通语音识别 功能。

上传视频文件

在页面中引入 腾讯云COS SDK 与 TCPlayer 相关脚本文件：

<!--播放器样式文件-->

<link href="https://web.sdk.qcloud.com/player/tcplayer/release/v4.6.0/tcplayer.min.css" rel="stylesheet" />

<!--播放器脚本文件-->

<script src="https://web.sdk.qcloud.com/player/tcplayer/release/v4.6.0/tcplayer.v4.6.0.min.js"></script>

<!--COS SDK-->

<script src="https://cdn.jsdelivr.net/npm/cos-js-sdk-v5/dist/cos-js-sdk-v5.min.js"></script>

设置播放器容器节点: 在需要展示播放器的页面位置加入播放器容器。例如，在 index.html 中加入如下代码（容器 ID 以及宽高都可以自定义）。

<video id="player-container" width="414" height="270" preload="auto" playsinline webkit-playsinline></video>

生成字幕文件步骤

步骤 1：初始化 腾讯云COS SDK 并配置相关信息

// 密钥请在访问管理控制台获取。

const cos = new COS({

SecretId: 'AKID*******',

SecretKey: '**********',

});

步骤 2：创建语音识别任务

构造提交语音识别任务接口并发起请求 请求参数：

// 存储桶配置请在 cos 控制台获取。

// 格式参考：Bucket: 'abc-1250000000', Region: 'ap-shanghai'

const config = {

// 需要替换成您自己的存储桶信息

Bucket: '***-125********' /* 存储桶，必须 */,

Region: '**-*****' /* 存储桶所在地域，必须字段 */,

FileName: 'demo.mp4' /* 文件名 */,

};

//需在地址前拼接/asr_jobs，即：`https://<BucketName-APPID>.ci.<Region>.myqcloud.com/

const host = config.Bucket + '.ci.' + config.Region + '.myqcloud.com';

const url = 'https://' + host + '/asr_jobs';

//使用 cos sdk 发起语音识别任务请求

const body = COS.util.json2xml({

Request: {

Tag: 'SpeechRecognition' /* 创建任务的 Tag：SpeechRecognition ,必须*/,

Input: {

Object:config.FileName /* 需要语音识别的视频文件，存储桶里的路径 */,

},

Operation: {

SpeechRecognition: {

EngineModelType: '16k_zh_video' /* 引擎模型类型:16k 音视频领域 ,必须 */,

ChannelNum: 1 /* 语音声道数，必须 */,

ResTextFormat: 1 /* 识别结果返回形式，必须 */,

OutputFileType: 'srt',

},

Output: {

Bucket: config.Bucket /* 存储结果的存储桶 ,必须 */,

Region: config.Region /* 存储结果存储桶地域 ,必须 */,

Object: `demo.srt` /* 结果文件的名称 ,必须 */,

},

},

QueueId: '******************' /* 任务所在的队列 ID ,必须 */,

},

});

cos.request(

{

Bucket: config.Bucket,

Region: config.Region,

Method: 'POST',

Url: url,

Key: '/asr_jobs' /** 固定值，必须 */,

ContentType: 'application/xml' /** 固定值，必须 */,

Body: body,

},

(err, data) => {

console.log(err || data);

}

);

请求方式为 POST，Content-Type 为 application/xml，Tag 为 SpeechRecognition 语音识别，Input.Object 为 准备工作中上传的 视频文件,Operation.Output 为结果输出地址可以填准备工作中创建的存储桶，需要注意 Output.Object 文件名称后缀名应为 .srt 格式，Operation.SpeechRecognition 为语音识别配置参数。

接口响应参数，JobsDetail 节点下为下面 获取提语音识别任务接口接口响应 任务信息。其中 JobId 为关键信息，下面 构造查询语音识别任务链接 会用到。

步骤 3：获取字幕文件

查询语音识别任务执行是否完成，获取字幕文件

// 存储桶配置请在 cos 控制台获取。

// 格式参考：Bucket: 'abc-1250000000', Region: 'ap-shanghai'

const config = {

// 需要替换成您自己的存储桶信息

Bucket: '***-125********' /* 存储桶，必须 */,

Region: '**-*****' /* 存储桶所在地域，必须字段 */,

FileName: 'demo.srt' /* 文件名 */,

};

// 需在对象地址前面拼接 ai_jobs/<jobId>，即：`https://<BucketName-APPID>.ci.<Region>.myqcloud.com/ai_jobs/<jobId>`

// jobId 即为刚刚创建的任务 ID

const host = config.Bucket + '.ci.' + config.Region + '.myqcloud.com';

const url = 'https://' + host + '/asr_jobs/' + JobId;

cos.request(

{

Bucket: config.Bucket,

Region: config.Region,

Method: 'GET',

Url: url,

Key: '/asr_jobs/' + JobId /** 固定值，必须 */,

ContentType: 'application/xml' /** 固定值，必须 */,

},

(err, data) => {

if (err) {

// 语音识别任务查询失败，请在 console 查看报错信息;

console.log(JSON.stringify(err));

return;

}

const resp = data.Response || {};

//判断语音识别任务是否执行中

if (resp.JobsDetail.State !== 'Success') {

console.log('...语音识别任务执行中');

return;

}

//任务执行完成 字幕文件地址为

const srtUrl = `https://${config.Bucket}.cos.${config.Region}.myqcloud.com/${config.FileName}`;

}

);

返回体 Content-Type 为 application/xml，其中 State 为 Success 代表已经完成语音识别，读取到通过语音识别的字幕文件地址为 https://${Operation.Output.Bucket}.cos.${Operation.Output.Region}.myqcloud.com/${Operation.Output.Object}。

注意：

        目前腾讯云有COS特惠活动，新人1元起

使用 TCPlayer 播放挂载了字幕的视频

1. 获取上面 准备工作 创建的视频文件地址： https://&lt;BucketName-APPID&gt;.cos.&lt;Region&gt;.myqcloud.com/xxx.mp4

2. 获取上面 生成字幕文件 创建的字幕文件地址： https://&lt;BucketName-APPID&gt;.cos.&lt;Region&gt;.myqcloud.com/xxx.srt

3. 初始化播放器，并设置视频地址和字幕文件：

// TODO: 使用 Web 播放器时，为获取更佳的兼容性，可将普通 srt 格式字幕文件转换为 webvtt 格式

const getWebvvtUrl = url => {

return fetch(url)

.then(response => response.text())

.then(text => {

const arr = text.split('\n');

text = arr.slice(0, arr.length - 4).join('\n');

const vvtText = 'WEBVTT\n' + '\n' + text.replace(/,/g, '.') + '\n';

console.log(vvtText);

return URL.createObjectURL(new Blob([vvtText]));

});

};

// srt 文件格式转 webvvt 格式，非必须，TCPlayer 播放器字幕文件暂只支持 webvvt 格式

const webvvtUrl = await getWebvvtUrl(`https://<BucketName-APPID>.cos.<Region>.myqcloud.com/xxx.srt`);

// 初始化播放并设置播放地址及字幕文件

const Player = TCPlayer('player-container', {});

Player.src(`https://<BucketName-APPID>.cos.<Region>.myqcloud.com/xxx.mp4`);

Player.on('ready', function () {

// 添加语音识别任务生成的字幕文件

const subTrack = Player.addRemoteTextTrack(

{

src: webvvtUrl, // 字幕文件

kind: 'subtitles',

srclang: 'zh-cn',

label: '中文',

default: 'true',

},

true

);

});

若存在跨域问题，则需要进行存储桶跨域访问 CORS 设置，详情请参见 设置跨域访问 。

若存储桶为私有读写，则对象地址需要携带签名，详情请参见 请求签名 。

粤海科技君
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AI技术实践｜用腾讯云录音文件识别让无字幕视频自动生成字幕
腾讯云AI的博客
12-07 942
本文将分享如何借助录音文件识别服务给无字幕视频自动生成字幕。
如何做字幕？用语音识别生成字幕？
q6q6q的专栏
10-27 940
上次我给大家分享了一些，外面常见的语音转字幕的平台软件。但是，只知道软件平台，不知道方法，对于实际制作来说，还是需要自己琢磨，所以这里，我分享一些，我个人对于这些软件平台的搭配使用方法。首先，在没有字幕文稿的情况下，我推荐使用网易见外工作台，来生成一个SRT字幕文件。具体操作如下：打开网易见外工作台的网页，注册登录。https://jianwai.netease.com点击新建项目，选择语音转写，...
基于QT的语音识别多功能音乐播放器（附源码）
最新发布
qq_52229291的博客
05-09 1899
记录一下自己做的QT项目，第一次从头开始做一个项目，
python-根据语音识别让无字幕视频自动生成字幕，附srt字幕文件
lidashent的博客
02-25 1万+
文章目录问题解决思路导出音频分片，导出音频时间信息自动识别停顿，对声音切片编写函数，对语音分片实现语音识别，得到文字信息对csv文件处理，得到编写srt文件需要的信息处理时间格式的代码主文件调用，并主导srt文件生成 问题 各大平台都有长语音转写的服务，但是收费昂贵，而且有次数和时间限制。 因此我想到了一个白嫖的好办法。将长音频根据语句停顿切割得到短音频，使用他们提供的短音频识别服务来识别长音频不是更好吗？粗略计算了下，可以使用的时长为50000分钟，白嫖。 至于视频声音的停顿时间也是很容易得到的。 最后根
基于Whisper语音识别的实时视频字幕生成 (一): 流式播放视频帧和音频帧
Pika
04-06 1531
Whistream （微流）是基于openai-whisper 大语音模型下的流式语音识别工具 本期主要介绍实时显示工具Whishow，可以实时逐帧显示视频流（RTSP/RTMP）和离线文件（mp4,avi等）
如何一键生成字幕，如何快速处理生肉资源？借助whisper语音识别系统生成.srt字幕文件 手把手教学在Windows、CPU版本下whisper的安装与使用，快速上手！
weixin_43401024的博客
03-20 6455
Whisper是Open AI开源的语音识别网络，支持98中语言，用于语音识别和翻译等任务。我们可以将歌曲的歌词进行识别，将无字幕的视频资源自动生成字母，极大方便了用户。同时，whisper可以在本地运行，充分保障了个人隐私。在识别方面也具有较准确的识别能力。因此想通过本文对whisper的安装和使用进行说明，希望能对正在学习的伙伴给予参考。从不同的测试结果可以看到，whisper的识别效果还是不错的，最后的字幕的显示结果也讨人欢喜。
使用Python和百度语音识别生成视频字幕的实现
09-17
识别后的文本可以作为视频的字幕内容，通过编程方式将它们与视频同步，最终生成带字幕的视频。 总的来说，这个过程结合了Python的多媒体处理库和第三方的语音识别服务，实现了自动化生成视频字幕的功能。对于需要...
人工智能_语音识别_视频语音识别_这是一个可以识别视频语音自动生成字幕SRT文件的开源 Windows-GUI 软件工具
04-17
人工智能_语音识别_视频语音识别_这是一个可以识别视频语音自动生成字幕SRT文件的开源 Windows-GUI 软件工具 VideoSrt 是用 Golang语言，基于 lxn/walk Windows-GUI 工具包开发。 这是一个可以识别视频语音自动...
视频自动加字幕软件win版videosrt2.9.5x64
01-25
2. **语音识别**：选择"自动识别"，软件将开始分析视频的音频并生成初步的字幕文本。 3. **字幕编辑**：根据识别结果，用户可以在编辑窗口进行校对和优化，确保字幕的准确性和流畅性。 4. **同步调整**：如果需要，...
这是一个可以识别视频语音自动生成字幕SRT文件的开源 Windows-GUI 软件工具.zip
04-20
（1）Python这门语言的优势之一，就是有成千上万的第三方Python包供用户调用，这意味着很多编程问题，无需自己从头开始编写程序，只需要用户安装并调用第三方包即可！ （2）对于编写复杂的具有工程性的Python程序，...
语音识别快速添加字幕，字幕助手，字幕通
电子海图
04-13 2183
字幕助手是一款免费利用语音识别技术的视频字幕添加软件，这款软件主打视频字幕剪辑和添加功能，能够一键快速添加字幕，同时能够快速导出srt字幕，该软件还具有一键去水印功能，软件可以将繁琐的视频字幕翻译制作工作最大程度的便捷化，成功实现从切分时间轴、字幕（语音）识别，到字幕校队，字幕特效制作及成品导出 下载地址：字幕助手 字幕通 ...
CDN:仅用于jsDelivr加载
04-02
光盘 仅用于jsDelivr加载。
【NLP】根据音频文件自动生成字幕（中文）
Ezrealmore
11-12 1万+
根据音频文件自动生成字幕（中文）
用python整合一个有语音识别功能的视频播放器
shijilongren的博客
01-08 1357
找来一些不带字幕的英文电影或视频，发觉有些很难听的懂，都怪自己的英语听力有限。 突然想到，可否用python写个灵活点的播放器，截取听不懂的英文片段，利用网上的在线语音识别功能将其转换为英文文本（或翻译成中文）。 查询了一些资料，发觉还是较为容易，让我们来编写这个有语音识别功能的视频播放器吧！ ...
语音文字识别_语音识别文字_文字语音识别 - 云+社区 - 腾讯云
q6q6q的专栏
10-27 1816
广告关闭腾讯云双11爆品提前享，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高满返5000元！腾讯云语音识别（asr） 为开发者提供语音转文字服务的最佳体验。 语音识别服务具备识别准确率高、接入便捷、性能稳定等特点。 腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式，满足不同类型开发者需求... 语音识别 简介 腾讯云语音识别 为企业提供极具性价比的语音...
为什么现在的视频都会加入自动字幕功能？
weixin_43198074的博客
12-05 1430
最近上油管和billbilli等视频网站，会发现部分视频添加了自动字幕生成甚至翻译功能(可能早就有，但是最近我才注意到)。前几天在登录T开头的微博网站，也发现有自建聊天室功能，加入一个聊天室以后又发现聊天室的发言会自动生成实时字幕。因为笔者也参与过一些NLP、语音识别、图谱、自动翻译的研究工作，发现这些功能后觉得很有意思，做过AI的同学都知道这一类语音识别和自动翻译会消耗算力，因此笔者就在思考这些互联网公司为什么会去消耗大量成本做这些功能，本文就是笔者自己对这问题的一些分析思考，未做原厂调研，不能做为严谨的
PR视频字幕批量生成程序(用讯飞听见识别音频)
热门推荐
YekonGLE
09-10 4万+
用过视频剪辑软件的小伙伴们可能都会为添加视频字幕所烦恼，尤其是当一个视频包含了大量语音而且只有你一个人在配字幕的时候,那就变得很蛋疼；尽管到最后你完成了这么庞大的工作量，但是你都会一度怀疑自己的人生。我曾经为一个十来分钟的视频配字幕都配到我想吐。 然后我最近看B站发现一个挺有意思的事情,就是利用讯飞语音识别服务可以识别语音并且自动生成文字，这就省掉了不少人力去听的功夫。众所周知科大讯飞的语音识别功能
英文语音识别软件
q6q6q的专栏
10-27 965
广告关闭腾讯云双11爆品提前享，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高满返5000元！腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式，满足不同类型开发者需求... 语音识别 简介 腾讯云语音识别 为企业提供极具性价比的语音识别服务 被微信王者荣耀 腾讯视频等大量内部业务使用 外部落地录音质检 会议实时转写 法庭审讯记录 语音输入法等多个场景 产...
文字检测识别系统SDK
weixin_43845029的博客
01-18 403
随着科学技术的高速发展，人工智能已经渗透到了我们生活中的方方面面，北京中安未来科技有限公司针对视频及视频截图、网页截屏及网页视频截屏、或者自然场景中的醒目文字照片等复杂背景图像专门开发了一款文字OCR识别程序，该识别核心具有特殊的二值化处理方法，和普通的OCR核心的二值化方法差别很大，而且该识别核心具有强大的文字定位功能，可精确定位到自然场景图像中的任何有文字的位置。 功能介绍： 支持TIFF，...
transformer语音识别代码
05-04
以下是一个基于Transformer的语音识别代码，使用PyTorch实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class PositionalEncoding(nn.Module): def __init__(self, d_model, max_seq_len=200): super().__init__() self.d_model = d_model self.pe = torch.zeros(max_seq_len, d_model) position = torch.arange(0, max_seq_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) self.pe[:, 0::2] = torch.sin(position * div_term) self.pe[:, 1::2] = torch.cos(position * div_term) self.pe = self.pe.unsqueeze(0) self.register_buffer('pe', self.pe) def forward(self, x): x = x * math.sqrt(self.d_model) seq_len = x.size(1) x = x + self.pe[:, :seq_len] return x class ScaledDotProductAttention(nn.Module): def __init__(self, temperature): super().__init__() self.temperature = temperature def forward(self, q, k, v, mask=None): attention = torch.matmul(q / self.temperature, k.transpose(2, 3)) if mask is not None: attention = attention.masked_fill(mask == 0, -1e9) attention = F.softmax(attention, dim=-1) output = torch.matmul(attention, v) return output, attention class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_head): super().__init__() self.d_model = d_model self.n_head = n_head self.d_k = d_model // n_head self.d_v = d_model // n_head self.w_qs = nn.Linear(d_model, n_head * self.d_k, bias=False) self.w_ks = nn.Linear(d_model, n_head * self.d_k, bias=False) self.w_vs = nn.Linear(d_model, n_head * self.d_v, bias=False) self.attention = ScaledDotProductAttention(temperature=self.d_k ** 0.5) self.fc = nn.Linear(n_head * self.d_v, d_model, bias=False) self.layer_norm = nn.LayerNorm(d_model) def forward(self, q, k, v, mask=None): batch_size = q.size(0) residual = q q = self.w_qs(q).view(batch_size, -1, self.n_head, self.d_k).transpose(1, 2) k = self.w_ks(k).view(batch_size, -1, self.n_head, self.d_k).transpose(1, 2) v = self.w_vs(v).view(batch_size, -1, self.n_head, self.d_v).transpose(1, 2) if mask is not None: mask = mask.unsqueeze(1).repeat(1, self.n_head, 1, 1) output, attention = self.attention(q, k, v, mask=mask) output = output.transpose(1, 2).contiguous().view(batch_size, -1, self.n_head * self.d_v) output = self.fc(output) output = self.layer_norm(output + residual) return output, attention class PositionwiseFeedForward(nn.Module): def __init__(self, d_model, d_ff): super().__init__() self.w_1 = nn.Linear(d_model, d_ff) self.w_2 = nn.Linear(d_ff, d_model) self.layer_norm = nn.LayerNorm(d_model) def forward(self, x): residual = x output = F.relu(self.w_1(x)) output = self.w_2(output) output = self.layer_norm(output + residual) return output class EncoderLayer(nn.Module): def __init__(self, d_model, n_head, d_ff): super().__init__() self.multi_head_attention = MultiHeadAttention(d_model, n_head) self.positionwise_feed_forward = PositionwiseFeedForward(d_model, d_ff) def forward(self, x, mask=None): output, attention = self.multi_head_attention(x, x, x, mask=mask) output = self.positionwise_feed_forward(output) return output, attention class Encoder(nn.Module): def __init__(self, d_model, n_head, d_ff, n_layers): super().__init__() self.layers = nn.ModuleList([EncoderLayer(d_model, n_head, d_ff) for _ in range(n_layers)]) def forward(self, x, mask=None): attentions = [] for layer in self.layers: x, attention = layer(x, mask=mask) attentions.append(attention) return x, attentions class TransformerSpeechRecognizer(nn.Module): def __init__(self, vocab_size, d_model, n_head, d_ff, n_layers, input_dim, dropout=0.1): super().__init__() self.d_model = d_model self.embedding = nn.Sequential( nn.Linear(input_dim, d_model), nn.Dropout(p=dropout), nn.LayerNorm(d_model), nn.ReLU(), PositionalEncoding(d_model) ) self.encoder = Encoder(d_model, n_head, d_ff, n_layers) self.output_layer = nn.Linear(d_model, vocab_size) def forward(self, x, mask=None): x = self.embedding(x) x, attentions = self.encoder(x, mask=mask) x = self.output_layer(x) return x, attentions ``` 这是一个简单的Transformer语音识别模型，包含了Transformer的核心组件：多头自注意力、前馈网络和位置编码。在这个模型中，输入的音频信号首先通过一个线性层和位置编码层进行编码，然后传入多个Encoder层进行特征提取，最后经过一个线性输出层得到最终的识别结果。其中，每个Encoder层包含了一个多头自注意力和一个前馈网络。在训练过程中，我们可以使用交叉熵损失函数对模型进行训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值