stable-diffusion-webui+sadTalker开启GFPGAN as Face enhancer

已于 2024-02-25 16:45:45 修改
阅读量322 收藏 5
点赞数 1
文章标签： stable diffusion
于 2024-02-25 16:31:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37515325/article/details/136283458
版权

 接上一篇：在autodl搭建stable-diffusion-webui+sadTalker-CSDN博客

 要开启sadTalker gfpgan as face enhancer，

需要将

1.

stable-diffusion-webui/extensions/SadTalker/gfpgan/weights 目录下的文件拷贝到

:~/autodl-tmp/models/GFPGAN/目录下

2.将GFPGANv1.4.pth拷贝到

stable-diffusion-webui/extensions/SadTalker/checkpoints/hub/checkpoints

否则会有以下报错。

注意拷贝好的模型都要chmod -R 777，否则读取权限会有问题

测试

sadTalker介绍相关参数：https://github.com/OpenTalker/SadTalker/blob/main/docs/best_practice.md

 测试图

开启face enhancer后的效果比不开启要好很多，不开启面部抖动会很剧烈，开启面部抖动会小很多。

未开启脸部增强

katong01_nofaceEnhanced

开启脸部增强

katong01_faceEnhanced

小葫芦写代码
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
model-mobilefacenet.pth
06-14
model_mobilefacenet.pth
2023-12-04 AIGC-Stable Diffusion和SadTalker-搭建及使用
技术之路
12-04 717
2023-12-04 AIGC-SadTalker-搭建及使用。
GFPGANv1.4.pth
04-30
GFPGANv1.4.pth下载
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些翻译内容，特别是插件。 同时继续合并了其它翻译插件的内容。 最近文字提示修改得有点多啊。 请放入“你的SDWebUI项目位置/localizations/”中。 中文翻译部分删掉了不少括起来的英文原文，所以别直接选它用。 请配合【Bilingual Localization】插件使用，双语同时显示，效果最好。
GFPGANv1.3.pth
03-24
GFPGANv1.3.pth模型文件 官网：https://github.com/TencentARC/GFPGAN/blob/master/README.md
SadTalker项目上手教程
mryang125的博客
04-10 8867
最近发现一个很有趣的GitHub项目，它能够将一张图片跟一段音频合成一段视频，看起来毫无违和感，如果不仔细看，甚至很难辨别真假，预计未来某一天，一大波网红即将失业。虽然这个项目目前的主要研究方向还是基于cuda的脸部训练，生成动态的视频，但如果能够接入语音服务，利用ChatGPT实时生成对话prompt，配合这个项目实时渲染动态视频，那么一个灵动的对话机器人就产生了。想想这两个月ai正在以可怕的速度进化，未来生命以数字形式留存，机械飞升不再是科幻小说才有的场景。
让照片人物开口说话，SadTalker 安装及使用（避坑指南）
独行猫a 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS)
10-07 1万+
西安交通大学开源了人工智能SadTaker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。内含多个踩坑的解决办法，值得玩一玩。
深度学习系列46：人脸图像超分GFP-GAN
kittyzc的博客
06-22 4826
GFP-GAN由腾讯ARC实验室出品，测试下来效果很不错。 模型用于从低质量的人脸中恢复出高质量人脸。这些质量较低的肖像图可能由各种原因导致退化，如低分辨率，噪音，模糊或是被压缩。 主流的图像修复技术还是对抗生成网络GAN，但如何用好GAN是个学问。本模型使用了生成性面部先验模型（Generative Facial Prior, GFP），通过空间特征变换层被纳入到面部恢复过程中，这使得该方法能够实现真实性和保真度的良好平衡。 目前有3个pretrain模型，默认使用v1.3： 模型总图如下： 去退化模
基于改进GFPGAN的模糊人脸修复系统（源码＆教程）
m0_73650416的博客
11-29 1816
基于改进GFPGAN的模糊人脸修复系统（源码＆教程）
教你用SadTalker一键整合包轻松制作专属数字人
最新发布
dfBeautifulLive的博客
01-10 2858
首先我们准备图片，可以真人，动漫都可以，最好是正面头像，（测试后最好是咧嘴微笑的照片口型更自然，紧闭双唇嘴部运动效果不明显，）有些图片效果不好，可以多换些图片，有的效果很好，然后图片可以是SD生成图片，也可以你本人照片，或者网图。先说下我的显卡，大家参考下，我的显卡是6G，10秒内的音频转换数字人需要一分钟左右，我的显卡就不能选择高清了，选择高清就卡的不行。语音准备，我是在在线的文本转语音工具，这个工具还蛮不错的，不用登录什么的，可以直接使用，界面如下，full：保留全身，全身照生成视频。
GFPGANv1.pth
03-16
GFPGANv1.pth
stable-diffusion-webui codeformer.pth
03-11
stable-diffusion-webui Restore faces Error 【https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/1513】 我认为这与损坏的安装有关。就我而言，我在“\models\Codeformer”上的 Codeformer.pth 已...
stable-diffusion-webui-extensions 扩展
11-02
下载解压后放入extension文件夹下即可
stable-diffusion-webui安装包，亲测有效
07-19
stable-diffusion-webui安装包，亲测有效。非常可行的包，不过环境需要自己安装的，安装一下吧。有些环境在repo里安装即可。
stable-diffusion-webui启动文件
07-19
stable-diffusion-webui启动文件，用于启动环境中的参数输入，与cmd参数输入相结合，其他参数修改，包括pip，git环境修改，git的环境请手动下载，这里注释掉了。
NovelAi + Webui + Stable-diffusion本地配置
热门推荐
weixin_62651190的博客
11-03 1万+
NovelAi + Webui + Stable-diffusion，二次元狂喜，建模灵感源泉，3D大佬喜极而泣，皮套师流泪。
2021SC@SDUSC 开源项目GFPGAN-1-开源项目GFPGAN组内任务分配
weixin_46915928的博客
09-30 838
2021SC@SDUSC @目录 开源项目GFPGAN介绍 任务分配 方法论 一、开源项目GFPGAN介绍 1、简介 GFPGAN 是腾讯开源的人脸修复算法，它利用预先训练好的面部 GAN（如 StyleGAN2）中封装的丰富和多样的先验因素进行==盲脸 (blind face) 修复==， 2、效果图 ![修复图前后对比](https://img-blog.csdnimg.cn/3ad75a038d374cbda42a076971798f58.jpg?x-oss-process=image
2021SC@SDUSC 开源项目GFPGAN -8-archs
weixin_46915928的博客
12-06 309
2021SC@SDUSC 目录一、整体架构和作用二、代码讲解==1、achs-架构====2、data====3、models==三、总结 一、整体架构和作用 主要讲解：archs是代码的核心部分，也是小组的主要分析部分的代码。 主要文件： 二、代码讲解 1、achs-架构 2、data 1）主要文件： 2）init 在Python中定义类经常会用到__init__函数（方法）， 首先需要理解的是，两个下划线开头的函数是声明该属性为私有，不能在类的外部被使用或访问。 而__init__函
stable-diffusion-webui centos 7 + nvidia gpu部署
07-29
要在CentOS 7上部署stable-diffusion-webui与NVIDIA GPU，首先需要确保您的系统满足以下要求： 1. 确保您的计算机上已经安装了合适版本的CentOS 7操作系统，可以通过官方渠道下载并安装。 2. 确保您的计算机上具备NVIDIA GPU，并安装了NVIDIA的驱动程序。您可以从NVIDIA的官方网站下载并安装适合您GPU型号和CentOS版本的驱动程序。 接下来，您可以按照以下步骤进行stable-diffusion-webui部署： 1. 安装Docker：在CentOS 7上安装Docker以便运行容器化应用程序。您可以使用以下命令安装Docker： ``` sudo yum install docker ``` 2. 启动Docker服务并将其设置为开机自启动： ``` sudo systemctl start docker sudo systemctl enable docker ``` 3. 下载并运行stable-diffusion-webui容器： ``` sudo docker run -e GPU_INDEX=0 -p 80:80 diffusionai/stable-diffusion-webui ``` - 通过"GPU_INDEX=0"参数指定使用的GPU索引，如果您有多个GPU，可以根据需要进行调整。 - 使用"-p 80:80"参数将容器的80端口映射到主机的80端口，使得Web界面可以通过主机的IP地址进行访问。 4. 这样，您就成功地将stable-diffusion-webui部署在CentOS 7上了。现在，您可以在任意浏览器中访问http://您的主机IP地址，即可使用stable-diffusion-webui进行图像处理和分析。 请注意，上述步骤假设您已经正确地安装了操作系统和GPU驱动程序，并且系统中只有一个NVIDIA GPU可用。如果您遇到任何问题，建议参考各种文档和安装指南，或者咨询相关领域的专业人士。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值