公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!
在日常学习和工作中,我们往往会发现有一些优质的外语学习资源,如 TED 演讲,Khan Academy、Coursera 等等。
正常情况下,最新的视频内容很少自带中文字幕,这对于一些英语不太好的同学,有较高的学习门槛。
这时候,如果有一款可以为视频自动生成中英文字幕的工具,无疑极大地提高我们的学习效率。
无独有偶,最近我在 GitHub 上发现一款一键全自动的开源 AI 视频翻译神器。
无论是一部英文电影,还是一部日本动漫,通过该工具,能够瞬间翻译成中文字幕,甚至还能克隆原音色进行中文配音。
今天,就给大家推荐这款视频翻译的 AI 神器:VideoLingo。
GitHub:https://github.com/Huanshere/VideoLingo
它能够一键完成视频的下载、字幕切割、翻译和精准对齐,最终生成 Netifx 级别的字幕,甚至还可以克隆自己音色进行个性化配音。
工具的部署与使用也比较简单,接下来给大家详细介绍下。
工具特点
使用 NLP 和 LLM 对字幕精准分割;
内置专业术语知识库,避免专业术语被翻译,同时实现上下文感知翻译;
采取高质量三步翻译法,先直接翻译,然后进行反思,最后对翻译结果改进;
实现精确到单词级的字幕对齐;
支持多种大语言模型,按需选择性价比最高的模型,做一个 5 分钟的视频翻译花不到 1 块钱;
可使用 GPT-SoVits 克隆音色并生成高质量的个性化配音。
本地部署
前提条件:
安装 Visual Studio 2022 或者 Microsoft C++ 生成工具;
勾选并安装组件包:“使用 C++ 的桌面开发”;
安装 Cmake 构建程序。
完成以上依赖安装之后,再进行如下几个步骤。
克隆仓库并进入项目文件夹:
git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo
设置并激活 Conda 虚拟环境:
conda create -n videolingo python=3.12.0
conda activate videolingo
打开
config.py
文件,进行语言、字幕、LLM 模型等配置;执行安装脚本:
python install.py
启动 streamlit:
streamlit run st.py
一切顺利,我们将会在浏览器看到如下界面:
只需下载 YouTube 视频或上传本地视频,即可开启全自动化视频翻译之旅。
效果演示
最后
以上便是 VideoLingo 工具的详细介绍。
有了该工具,再也不用像以前那样人工校对翻译、制作字幕等繁琐工作流程。
无需等待熟肉,即可观看各种最新的外语视频资源,掌握一手的信息与学习资料。
文中所提到的所有开源项目与工具,已收录至 GitHubDaily 的开源项目列表中。
该列表包含了 GitHub 上诸多高质量、有趣实用的开源技术教程、开发者工具、编程网站等内容。
从 2015 年至今,累计分享 3500+ 个开源项目,Star 增长 24000+,有需要的,可访问下方 GitHub 地址自取:
GitHub:https://github.com/GitHubDaily/GitHubDaily
好了,今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!