Cang_Wang
百度YY 高级开发工程师,擅长于客户端Android开发,以及移动端端智能开发,对stable Diffusion开发和实践有丰厚的经验
展开
-
Stable Diffusion 多视图实践
4.描述的人物特征,请尽量详尽,因为有一些元素如果不进行描述,大模型生成的时候会默认出现,所以需要添加多一点没描述。多提示相同的发色,相同的发型,相同的衣服。3.多视图的提示openpose,因为描述的人物整个图,如果提示对人物有遮挡的服饰,例如长裙,这些就非常有可能还是会变成短裙。2.需要添加图片到到controlnet当中,不要选择预处理器,选择模型为openpose的模型,然后需要点选同步图片尺寸。2.有一些模型手部有可能会出现拿着东西的情况,就算编写提示词,他还是会拿着东西。原创 2023-08-31 11:23:05 · 1340 阅读 · 0 评论 -
Stable Diffusion+Riffusion应用
512*512的像素是5秒左右,那么256个像素,大概是增长2.5秒左右,生成的效果还可以,认真听会有比较明显的拼接感,用于比较随机的创作效果在保持风格的还是能够接受的。3.下载模型,如果你显存够大可以上官网下载,不然只能去可以civitai下个精简版的。512*512尺寸的图片只能生成5秒左右的音频,选择其他分辨率的音频会有非常大的噪音。4.使用启动器,选择模型,填写关键字,然后选择宽高512*512,点生成。如果你讲多个音频图片放在一个文件夹,会给你多生成一个多个音频合成的音乐。原创 2023-08-22 18:19:31 · 322 阅读 · 0 评论 -
Stable Diffusion+Ebsynth 分割模型无法切换gpu运行解决
3.关键在这个代码,这里会发现找不到gpu运行环境,所以运行在cpu当中,导致运行速度非常缓慢。翻看源码,原来使用的是sbprocess来运行,是主动运行在subprocess当中的虚拟环境,如果虚拟环境没有配置gpu cuda环境,就会运行在cpu当中。1.这里运行会遇到不少问题,如果没有翻墙会遇到下载transparent-background的运行模型,下载失败的情况。2.当然你可以运行一个fast的版本,这个版本会比较粗略一点,运行速度应该能够快一倍。代码是在stage1.py当中。原创 2023-08-16 10:10:22 · 1214 阅读 · 0 评论 -
Stable Diffusion 插件开发经验
6.如果你考虑使用api做访问,那么最好有自建服务器的心理准备,而且需要有一定长连接或者等待机制的处理,因为图处理是一件非常长时间耗时的功能,单台的gpu算力有限,无法做到太多的并行计算,只能进行请求等待队列堵塞。但是大部分下载都存在一些这样那样的问题,例如支持断点续传啊,是否每次都覆盖下载重复下载这些,我重新封装了一些插件接口,可以使用我提供的github来做下载处理。如果你想要对正在运行的任务使用直接中断或者跳过步骤的操作,如果你直接发送一个中断命令去处理,会发现,你发送的命令是不会被打断的。原创 2023-08-14 22:01:40 · 945 阅读 · 0 评论 -
Stable Diffusion+Temporal-kit 半虚半实应用
(1)手部有特殊动作将会难以让人识别,无论是openpose,都无法很好的还原,因为有些手部动作有遮挡的情况下就是无法很好还原,这里面可以借用softedge边缘来提示边缘状况。9.使用Ebsynth拖参数生成,把frames文件夹拖到videos的位置,把keys拖到key frames的位置,点击run all。8.Temporal-kit Ebsynth预处理,点击载入预处理,输出分辨率要填视频高度,填写对应参数,点预处理Ebsynth。6.生成想要的效果后,固定seed,然后使用批量生成。原创 2023-08-14 11:14:15 · 1143 阅读 · 0 评论 -
Stable Diffusion + AnimateDiff运用
4.其原理相当于同时生成多个固定的照片,但是有一些参数有所不同,所以加入随风而动的关键词效果会比较好。效果有可能达不到你想要的效果,可能出现抖动感。抽卡完成后固定seed,然后打开这个插件,然后通过填写一下参数,点生成就可以开始生成。6.12G的显存只能勉强生成512*768大小的动画效果,其和帧数也有关系。2.下载对应的模型,最好到c站下载,google colab的资源有可能会出现下载问题。5.一定要官网提供的一些固定的底模才能形成比较好的效果,不然抖动感非常厉害。3.下载完成后,你可以随便抽卡了。原创 2023-08-14 11:13:08 · 2277 阅读 · 0 评论 -
Stable Diffusion +EbSynth应用实践和经验分享
(1)调整效果是一个非常麻烦的过程,抽帧的时候,步骤二,如果有场景切换,那么就要保证前后的场景的关键帧完整,自行将video_frame中你需要的帧移动到video_key中。5.对应步骤2,设置关键帧,如果你视频中人物动作比较复杂,抖动比较厉害,需要把参数设置小一点,例如最小关键帧间隔为5, 最大间隔为100。4.对应步骤1,运行第一步分割mp4,这里面最好填你需要生成的分割大小,如果填写-1,-1是视频原大小。11.步骤8,是考虑需不需要替换掉背景,如果需要,就运行步骤8,填写背景地址。原创 2023-08-14 11:05:58 · 1645 阅读 · 1 评论 -
Stable Diffusion 插件开发基础讲解
近来Stable diffusion扩散网络大热,跟上时代,简单的文生图,图生图,其实可以满足绝大多数设计师的应用,但是有什么是赛博画手无法做到的呢?那就是他们使用到的stable diffusion的插件开发,他们并不清楚stable diffusino的代码结构,如果遇到一些代码层面的报错问题,他们将无法简单解决。我们想要开发出我想要的stable diffusion插件。那么我们首先要去学习一些gradio的基础知识。Gradio接口文档。原创 2023-08-14 10:52:26 · 1764 阅读 · 0 评论 -
Stable Diffusion + Deform制作指南
8.这里面需要打开编辑器,把deforum插件里面的代码进行修改,把deforum目录/scripts/colors.py进行修改,修改成截图的样子。这里面我们知道我们初始图是jpg或者png的时候,是因为初始化图片,有可能不能正确识别图片的色值,无法很好转成直方图。下面的参数很清晰,就是xy移动坐标,例如60:(10),如果是前面是对应帧时长,后面像对应的方向运行的速度,x坐标整数是向右,负数向左。这里只要简单调整你需要的fps帧率就好,那么视频的时长就会是最大的帧数/fps帧率。需要安装ffmpeg。原创 2023-08-14 10:44:30 · 859 阅读 · 0 评论 -
stable diffusion 电商应用技术(插图部分重绘)
主要是底膜和关键字一定要设置好,例如服装的提示词这些控制。9.图片的重绘设置为相反,那么就可以替换带场景和人物。1.下载inpaint anything插件。4.分割模版,获取蒙版。5.发送到图生图重绘制。7.clip反推提示词。原创 2023-08-14 10:37:39 · 392 阅读 · 0 评论 -
Stable Diffusion+Roop单张图片换头roop安装配置【包含roop破解方法】
stable diffusion 换头roop技术讲解原创 2023-08-14 10:27:17 · 1495 阅读 · 0 评论