我们主要完成的是真人视频重绘或者是转为动漫风格重绘。
需要现在安装蛮多东西,那么一步一步完成。
软件安装
ffmpeg安装和配置
第一个需要安装的软件是ffmpeg
。主要是需要设置环境变量。注意这里的环境变量的设置需要在系统变量中完成,并且一定要重启电脑,不然会出现webui识别不到的现象。
配置方式:
右击计算机
->选择属性
->高级系统设置
->环境变量
->系统变量
->path
->增加配置
打开属性
选择计算机、选择显示更多选项
选择更多选项,找到属性
打开高级系统设置
选择环境变量
设置系统变量
找到系统变量,然后选择path,然后点击编辑
设置path
点击新建按钮,然后将ffmpeg的文件夹路径复制进去。
Temporal-Kit插件安装
安装好之后,需要在界面上安装另外一个插件。在webui界面上选择扩展。
复制安装地址即可:https://github.com/CiaraStrawberry/TemporalKit
然后重启前端UI界面:
点击扩展之后,点击已安装,点击应用更改并重启
EbSynth安装
下载EbSynth到一个没有中文的路径下即可。不需要安装。当然也可以在官网下载:https://ebsynth.com/
基础设置
在webui的设置中:
ControlNet
中勾选 不输出检测图
图片保存设置
中去除在文件名前增加序号
使用教程
在抖音或者是快手等其他平台下载一个小姐姐跳舞的视频,比如下面这个:
暂时无法在飞书文档外展示此内容
然后准备进行风格转化:
第一步:使用Temporal-kit抽取关键帧
上传自己需要制作的视频。
然后进行配置。这里面有一些对应的操作,按照我上面给到的进行配置即可。
这里有几个数据需要着重关注:
①:高度分辨率:这个值和视频的分辨率一致。右击视频–>属性–>高级即可看见;
②:每几帧提取1个关键帧:比如1s的视频有16帧,那么这里就抽取5帧,理论上而言1S抽取3张左右图片,给得值越小,那么视频越丝滑,但是电脑不一定hold住;
③:帧率:这个值和视频的分辨率一致。右击视频–>属性–>高级即可看见;
④:目标文件夹:选择一个没有中文的路径,进行存储对应的提取帧;
Tips:因为中间是抽取关键帧,所以后面我们还需要进行补帧的操作。
最后输出的目录如下:input里面就是对应的输出关键帧;
第二步:使用图生图和ControlNet进行抽卡
- 选择你喜欢的大模型以及lora;
这里我因为要使用动漫风格,所以使用的大模型是和lora分别是:
lora:v2_lora_PanRight:0.8
ckpt:动漫majicmixRealistic_v6_nigi3d_v1.0
- 然后通过wd标签生成器或者是hugginggface进行图片解析;
通过抽取关键帧的图片,进行解析,解析网站:https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2
通过翻译软件,将一些不太常用的和画面不符的提示词进行删除;
- 设置关键词
正向提示词:
a woman standing in front of a white curtain, tumblr, bae suzy, her belly button is exposed, realistic footage, very beautiful girl, ❤🔥🍄🌪, revealing outfit, very realistic effect, very attractive and beautiful, soft shadowing, white sleeves, sexy look at the camera, attractive and beautiful, the best quality,extreme detail,ultra-high definition,8k,Surreal Photo,incredibly absurdres, lora:v2_lora_PanRight:0.8
负向提示词:
(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
- 设置图生图
Tips:这里的随机种子是测试之后我觉得不错的,就固定了随机种子;
- 启动After Detailer和ControlNet设置
启动脸部修复
启动ControlNet
这里使用分块;
-
多来几个轮次进行抽卡
-
固定seed值,然后进行批量操作
如果抽到满意的卡之后,可以进行批量操作了:
设置图片的输入和输出路径即可;
第三步:使用EbSynth进行风格迁移操作
生成好图片之后,点击EbSynth流程进行设置。
①:输入文件夹:是你的工程名称,我的是D:\dancing
;
②:输入视频:拖入原视频,要注意,第一次拖入之后,会被剪切,取消,再次拖入;
③:载入上次设置,会将分辨率、帧率和之前设置保持一致;
④:最大帧数:这个值需要我们自己计算。我们视频是11s,那么最大帧数就是330,可以适当多一点350;
最后点击预处理即可。
如果没有问题,会在工程文件下的数字文件下,出现的frames和keys中都找到文件。然后接下来使用EbSynth
在进行补帧操作输出即可;
将frames拖入video文件夹,将keys拖入keyframes文件夹中,依次将几个文件夹中的都这样操作;
然后执行runall即可:
当然大家这一部分也可以多开,显卡好一点,直接多开,一起跑:
最后出效果
最后在webui下面点击重组
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
