FunClip,音视频识别,自动化剪辑,文本校对,智能纠错,导出SRT

今天给大家介绍一个自动化剪辑项目——FunClip,该项目是由阿里开源的,可以识别音频、视频中的文字,一键剪辑和添加字幕。

FunClip是一款高效的自动化视频剪辑工具,它利用语音识别技术对视频内容进行分析。用户可以在识别结果中选择所需的文本片段或特定说话人,然后通过点击剪辑按钮,快速获得所选片段对应的视频片段。

【FunClip校对版,音视频识别,自动化剪辑,文本校对,智能纠错,导出SRT】 https://www.bilibili.com/video/BV164pyekEv6/?share_source=copy_web&vd_source=09316244e4ff3a9793930d67cf748288

语音识别基于阿里巴巴通义实验室自研并开源的FunASR工具包,以及Paraformer系列模型,这些技术涵盖了语音识别、端点检测、标点预测、时间戳预测、说话人区分以及热词定制化等开源链路,为用户提供了一种创新且便捷的视频编辑解决方案。

我在一位粉丝的建议下增加以下几个功能:

  • 增加文本校对功能
  • 增加大模型智能纠错(支持kimi和千问plus)
  • 支持导出正确的SRT

配置要求

以下是整合包运行所需配置

WIN

  • Windwos10/11操作系统
  • 支持CPU/GPU
  • N卡8G显存(6G显存没测试过)

MAC

  • Apple Silicon M系列芯片
  • MacOS 12.1以上版本

快速上手

上传视频或音频

点击识别

识别后会生成识别的结果和SRT字幕

然后我们需要拿着生成的结果去做裁剪

裁剪方式有两种:

  • 大模型智能裁剪
  • 根据文本/说话人裁剪

大模型智能裁剪需要选择模型和填入apikey

根据文本/说话人裁剪需要将刚才识别出的文本粘贴进文本框内

然后点击裁剪或者裁剪+字幕

这里我选的是裁剪+字幕

生成的视频中会自动添加字幕

以上就是比较简单的使用流程,下面我来介绍下校对功能的使用

文本校对

如何开启文本校对和智能纠错?

原始文本里上传你的文案即可开启。

如果没上传,默认不开启校对和纠错。

文案格式目前只支持txt。

例子1:

例子2:

文本无论每段换行或者都写在一段里都支持。

然后记得上传视频和音频

智能校对/纠错需要用到大模型,这里需要填写对应的APIkey。APIkey的获取教程后面有讲到。

这里我只添加了两个大模型,一个是kimi,一个是千问plus。

根据测试kimi会更准确些,所以比较推荐kimi的。

考虑到网络环境的问题,我只添加了国内的。

其实还可以添加更多的...后面再说吧

填写APIkey,粘贴进去是换行的没关系的,你只要复制的时候没空格没换行就可以。

然后点击识别

校对模式下的识别速度要比普通识别速度慢一些(需要请求大模型)

然后可以看到原始文本、识别结果、文本比对这三个部分。

蓝色是识别的结果,红色是原始文本的结果

同样的,也会生成一份SRT的对比

正确的SRT文本会在项目目录内的SRT文件夹

SRT里的内容已经是纠错后的内容。

比如你正确的文案里是有2个,然后识别的是有一个

最后纠错后的SRT里就是有2个

以上就是校对的使用方式。下面讲下如何获取APIkey

获取APIkey

kimi

官网

https://login.moonshot.cn/?source=https://platform.moonshot.cn/redirect&appid=dev-workbench

登录后实名认证

然后在APIkey管理这里新建一个,将APIkey填入FunClip中即可

新用户应该会送15元的额度

阿里千问plus

官网

https://account.aliyun.com/login/login.htm?oauth_callback=https://bailian.console.aliyun.com/&lang=zh#/home

创建APIkey

选择默认的业务空间

点击查看

点击复制,将这个key粘贴到FunClip中就可以

记得点击这里的开通,不然的话apikey无法正常使用。

确认开通就可以了。

注意

比较遗憾的是校对模式不支持在FunClip中进行直接添加字幕。

比如我们将正确的文案输入进去。

添加字幕的时候会报错

这是因为FunClip添加字幕的时候是以识别的结果来的,这部分的逻辑我还在看,如果后续支持会更新新的版本。

所以目前的解决方案是拿正确的SRT去剪辑软件中添加字幕

整合包获取

👇🏻👇🏻👇🏻下方下方下方👇🏻👇🏻👇🏻

关注公众号,发送【FunClip】关键字获取整合包。

如果发了关键词没回复你!记得看下复制的时候是不是把空格给粘贴进去了!

【FunClip校对版,音视频识别,自动化剪辑,文本校对,智能纠错,导出SRT】 https://www.bilibili.com/video/BV164pyekEv6/?share_source=copy_web&vd_source=09316244e4ff3a9793930d67cf748288

写到最后

起初是一位老哥(id:夢想家静旬)找到我跟我聊这个项目,问能不能加一个导出srt的功能。

再加上我很早就看到FunClip这个项目,但是一直还没来得及制作。

我觉得可以,导出SRT功能没什么难度,接着他又跟我讲了能不能做个纠错,因为某些情况下AI并不是能很好的识别出正确的文案,但是他们有原始的正确文案。希望可以用FunClip识别字幕,识别分段和标点符号,最后根据正确的文案更正到SRT文件中。

并且给我讲了几个使用场景

并且非常耗费时间

我觉得这个想法挺好的,可以搞一个试试。

在与老哥讨论了一段时间后做出了第一个版本的纠错Demo

然后老哥也提了一些建议,比如界面不够直观、导出srt问题等。调整后也就是大家看到的这个版本。

当然老哥也有建议我收费,我觉得没必要。

因为这个只是我学习过程中的一次尝试,再加上这个功能在某方面还不完美。

独乐乐不如众乐乐,希望可以帮助到更多人。

制作不易,如果本文对您有帮助,还请点个免费的赞或在看!感谢您的阅读!

  • 14
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值