wav2lip算法生成的数字人嘴部不够理想怎们办 -----新方法助力你优化解决这个问题

---

---

前言

`
随着人工智能的不断发展，数字人技术也越来越重要，很多人都开启了学习模型
但是使用神级模型wav2lip生成的数字人嘴部不清晰怎么办。
很影响使用效果，接下来教大家如何优化这个问题，如下图所示：

---

一、解决方案详解

因为wav2lip是通过替换嘴型来到达驱动嘴型发声的原理，原始的嘴部模型是96x96的，在贴合回脸上，96x96和周围的像素不一致就会导致上面的现象，我们如何解决呢，答案就是超分变率，让嘴部的96x96变成跟周围一样的分辨率
就是下面的效果,但是超分很慢，今天给大家分享一下，稍微快一点的超分方法

给大家推荐一个新的超分算法，区别于codeformer,gfpgan以外的算法，南洋理工大学的作品，含金量没问题吧
今年的新作品代码刚开源：ResShift: 一种新颖且高效的图像超分辨率扩散模型 主打一个轻量级，速度对于数字人生成来说的重要性大家都知道了吧
这篇作品显著减少了扩散步骤的数量，从而消除了推理过程中后加速的需要及性能恶化，即使只有 15 个采样步骤，其在合成、真实数据集上也能获得比当前最先进的方法更好或至少相当的性能，
现有的加速采样技术不可避免地会在一定程度上牺牲性能，导致超分辨率结果过于模糊。为了解决这个问题，我们提出了一种新颖且高效的 SR 扩散模型，该模型显著减少了扩散步骤的数量，从而消除了推理过程中后加速的需要及其相关的性能恶化。构建了个马尔可夫链，通过在高分辨率图像和低分辨率图像之间移动残差来在高分辨率图像和低分辨率图像之间进行传输，从而大大提高了传输效率。此外，还制定了精心设计的噪声表，以灵活控制扩散过程中的移动速度和噪声强度。大量的实验表明，即使只有 15 个采样步骤，所提出的方法在合成数据集和真实数据集上也能获得很好的性能。

下面的是效果图

---

下面是这个模型的评价指标和跟现在市面上其他超分模型的对比


效果还是很好的，大家可是试一下
代码和论文链接放到最后了

总结

关注微信公众号：CV算法小屋 获取最新AIGC代码和论文
代码：https://github.com/zsyOAOA/ResShift
论文：https://arxiv.org/abs/2307.12348