星海智算：【FoleyCrafter】使用教程

一、镜像介绍

FoleyCrafter是上海人工智能实验室和香港中文大学(深圳)共同推出的Al视频配音框架,FoleyCrafter能自动听出视频中的动作,配上恰到好处的声音效果。不管是视频里的人走路、跑步,还是动物的叫声,甚至是环境里的风声、水声,FoleyCrafter都能智能地加上去,让原来没有声音的视频瞬间变得生动起来。而且还可以给它一些提示,比如"声音要高一点"或者"不要风声",FoleyCrafter都能听懂并做到。这个技术不仅让视频制作更简单,还能让视频看起来更真实、更有感觉。

主要功能

自动配音:FoleyCrafter能给无声的视频加上各种声音,比如脚步声、关门声,让视频听起来更真实。

声音同步:不管视频里的动作多快或多慢,FoleyCrafter都能让声音和动作作完美对上节奏

理解视频:FoleyCrafter很聪明,能看懂视频里的内容,然后配上最合适的声音效果。

时间精准:FoleyCrafter有一个特别的时间控制器,确保声音的开始和结束都和视频里的动作完全同步。

听你指挥:用户可以通过写一些简单的文字提示,比如"大声点"或者"轻一点",FoleyCrafter能自动调整声音效果。

多样的声音:无论是自然的声音、游戏的声音还是动画的声音,FoleyCirafter都能根据视频内容创造出相应的音效。

二、使用教程

启动服务

星海智算：https://gpu.spacehpc.com/

进入jupyter界面后在root/FoleyCrafter路径下输入命令激活虚拟环境conda activate foleycrafter

cd /root/FoleyCrafter //在激活虚拟环境之后输入这个命令

启动服务需开启学术加速后，使用命令python app.py --share=SHARE启动服务

服务成功运行后在应用列表中选择端口映射功能，输入上方显示的local URL中的端口号比如当前是8080

按照操作步骤进行即可

显示当前界面代表已成功进入web界面

提示词可以根据需要添加，一般上传视频后点击生成会自动根据当前视频进行音效的配音

输入提示词后会添加对应的音效，输入反向提示词后该种类的音效不会出现

其余参数保持默认即可，也可根据需求自行调节使用

可能出现的问题

此报错是因为出现了端口占用，可以在root/FoleyCrafter目录下双击app.py进入代码界面修改启动端口为其他任意未使用端口，如8888或8080，随后使用ctrl+s保存即可

输入视频不显示的情况下重新上传即可；

输出内容不显示时，可进jupyterlab查看是否成功生成

出现此界面时代表生成成功，可至对应路径下下载视频至本地