FoleyCrafter 是一个开源基于文本的视频到音频生成框架,可以自动为无声视频生成清晰、逼真的声音效果,而且声音与视频内容完全匹配。它能够理解视频的语义内容,自动匹配适合的声音,比如视频里有狗,FoleyCrafter就会生成狗叫声,而且确保声音和视频是同步的。FoleyCrafter确保声音与视频的同步性门被关上的瞬间,那“砰”的一声也在同一时刻响起。这种精确的同步,让视听体验更加沉浸和真实。
使用FoleyCrafter非常简单。你只需要提供一段视频和一些简单的文字描述,它就能自动生成你需要的声音效果。甚至,你可以通过文字描述来指定想要的声音,比如输入“海浪声”,它就能为你生成海浪拍打岸边的声音。
FoleyCrafter不挑视频类型。无论是电影、动画还是游戏视频,它都能游刃有余,为不同类型的视频内容提供定制化的声音效果。
项目地址:https://github.com/open-mmlab/foleycrafter
一键包下载:FoleyCrafter - AI视频自动配音黑科技,让无声视频瞬间拥有逼真配音 本地一键整合包下载
核心功能:
高质量音频生成:基于预训练的文本到音频模型,FoleyCrafter能够生成高质量的音频,让无声视频焕发新生。
语义对齐:通过语义适配器,FoleyCrafter确保生成的声音与视频内容在语义上高度相关。
时间同步:时间控制器负责精确的音视频同步,让每一个声音都出现在它应该出现的时刻。
文本提示控制:FoleyCrafter支持使用文本描述来控制音频生成,实现用户意图的可控和多样化的视频到音频生成。
使用教程
1、下载一键包,解压并双击运行一键启动;
2、上传需要配音的视频,可以根据需要输入提示词和反向提示词,比如“laughter(笑声)”,如下图
3、可以根据需要调整高级参数,参数用途右侧有解释说明
4、所有参数设置完成后,点击下方的“生成”按钮,等待自动完成即可。
温馨提示:运行此软件需要N卡,显存12G起。请自行对比硬件是否符合要求。