星海智算：【FoleyCrafter】使用教程

一、镜像介绍

FoleyCrafter是上海人工智能实验室和香港中文大学(深圳)共同推出的Al视频配音框架,FoleyCrafter能自动听出视频中的动作,配上恰到好处的声音效果。不管是视频里的人走路、跑步,还是动物的叫声,甚至是环境里的风声、水声,FoleyCrafter都能智能地加上去,让原来没有声音的视频瞬间变得生动起来。而且还可以给它一些提示,比如"声音要高一点"或者"不要风声",FoleyCrafter都能听懂并做到。这个技术不仅让视频制作更简单,还能让视频看起来更真实、更有感觉。

主要功能

自动配音:FoleyCrafter能给无声的视频加上各种声音,比如脚步声、关门声,让视频听起来更真实。

声音同步:不管视频里的动作多快或多慢,FoleyCrafter都能让声音和动作作完美对上节奏

理解视频:FoleyCrafter很聪明,能看懂视频里的内容,然后配上最合适的声音效果。

时间精准:FoleyCrafter有一个特别的时间控制器,确保声音的开始和结束都和视频里的动作完全同步。

听你指挥:用户可以通过写一些简单的文字提示,比如"大声点"或者"轻一点",FoleyCrafter能自动调整声音效果。

多样的声音:无论是自然的声音、游戏的声音还是动画的声音,FoleyCirafter都能根据视频内容创造出相应的音效。

二、使用教程

启动服务

星海智算：https://gpu.spacehpc.com/

进入jupyter界面后在root/FoleyCrafter路径