CodeFormer模型构建指南

于 2024-09-27 14:09:05 发布
阅读量1k 收藏 14
点赞数 21
分类专栏： 模型构建 文章标签： VQGAN Transformer 大模型 图像修复 人脸修复 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJJS_1/article/details/142592130
版权

一、介绍

在 NeurIPS 2022 上，南洋理工大学-商汤科技联合研究中心 S-Lab 提出了一种基于 VQGAN+Transformer的人脸复原模型 CodeFormer。基于CodeFormer模型实现面部复原、增强旧照片/修复AI艺术、面部颜色增强和修复、面部修复四个功能。

二、特点

  • CodeFormer 是一个强大的人工智能工具，利用基于变压器的架构和注意力机制，用于恢复旧图像和生成逼真的人工智能面孔。
  • CodeFormer 的深度学习功能通过增强颜色、恢复面部细节和减少噪音来恢复历史照片的活力，保留珍贵的记忆。
  • 通过 CodeFormer 的用户友好界面，预处理图像、选择目标、自定义设置并获得结果，轻松恢复旧照片。
  • CodeFormer 的高级 transformer 架构允许它通过在不同的数据集上进行训练和微调设置来生成高度逼真的 AI 人脸，以获得独特的结果。
  • 负责任地使用和监管人工智能生成的人脸对于避免 deepfakes 等潜在问题至关重要，确保该技术服务于积极和道德的目的。

三、模型搭建

环境要求：

  • 系统ubuntu22.04 、cuda11.8

1. 模型下载

  • 下载CodeFormer模型，输入指令:
 git clone https://github.com/sczhou/CodeFormer

微信截图_20240829103940.png

  • 输入ls，查看一下是否有CodeFormer文件夹
ls

微信截图_20240829104002.png

  • 输入指令 cd CodeFormer进入文件夹
cd CodeFormer

微信截图_20240829104128.png

2. 创建虚拟环境

  • 输入下列命令：
conda create -n codeformer python=3.8 -y

微信截图_20240829104309.png

  • 激活虚拟环境
conda activate codeformer

微信截图_20240829104405.png

3.下载环境的依赖包

  • 输入列命令将下载源换成国内源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.douban.com
  • 输入下列命令下载依赖包
pip install -r requirements.txt

微信截图_20240829104657.png

此时出现“tb-nightly”报错，输入下列命令：

（下载完成后重新运行“pip install -r requirements.txt”命令）

pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

微信截图_20240829104805.png

  • 输入运行setup.py
python basicsr/setup.py develop

微信截图_20240829112006.png

  • 安装项目缺失包

输入下列命令安装ffmpeg

conda install ffmpeg

微信截图_20240829112103.png

输入下列命令安装ffmpy

pip install ffmpy

微信截图_20240829112537.png

耐心等待所有的安装包下载即可

4. 运行

此时系统的权重文件还未下载，输入指令后系统会自动下载，同时把运行的结果保存到指定的文件夹下。

 特别提醒：如果下载很慢则手动下载模型存储到weights/CodeFormer/目录下

detection_Resnet50_Final.pth 下载模型存储到weights/facelib/目录下

parsing_parsenet 下载模型存储到weights/facelib/目录

codeformer_colorization下载模型存储到weights/CodeFormer/目录下

codeformer_inpainting下载模型存储到weights/CodeFormer/目录下

codeformer.pth下载模型存储到weights/realesrgan/目录下

地址:

https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth

https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/detection_Resnet50_Final.pth

https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/parsing_parsenet.pth

目录：

/CodeFormer/weights/CodeFormer/codeformer.pth

/CodeFormer/weights/facelib/detection_Resnet50_Final.pth

/CodeFormer/weights/facelib/parsing_parsenet.pth

① 面部复原

输入指令：

python inference_codeformer.py -w 0.5 --has_aligned --input_path inputs/cropped_faces/0143.png

微信截图_20240829113047.png

微信截图_20240829115858.png

② 增强旧照片/修复AI艺术

输入指令：

python inference_codeformer.py -w 0.7 --input_path inputs/whole_imgs/03.jpg

微信截图_20240829122317.png

③ 面部颜色增强和修复

输入指令：

python inference_colorization.py --input_path inputs/cropped_faces/0368.png

微信截图_20240829122644.png

微信截图_20240829123608.png

④ 面部修复

输入指令：

python inference_inpainting.py --input_path inputs/masked_faces/00105.png

微信截图_20240829123031.png

微信截图_20240829124045.png

算家云
关注
专栏目录
博客
Aatrox-Bert-VITS2部署指南
10-18 470
‌Aatrox-Bert-VITS2模型是一种基于深度学习的语音合成系统，结合了BERT的预训练能力和VITS2的微调技术，旨在实现高质量的个性化语音合成。本文详细介绍了该模型如何在本地部署。
博客
如何在算家云搭建Hallo（数字人）
10-18 432
Hallo 是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员共同提出的一个 AI 对口型肖像图像动画技术，可基于语音音频输入来驱动生成逼真且动态的肖像图像视频。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Hallo 。
博客
如何在算家云搭建PhotoMaker（图像生成）
10-17 256
PhotoMaker是一种高效、个性化的文本转图像生成方法，能通过堆叠 ID 嵌入自定义的逼真人类照片。相当于把一张人类照片的特征提取出来，然后生成你想要的不同风格照片，如写真等等。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建PhotoMaker。‌
博客
MusePose模型部署指南
10-17 379
MusePose是一个基于扩散和姿势引导的虚拟人视频生成框架。该模型能够根据给定的姿势序列，生成参考图中人物的舞蹈视频。本文将带领大家一步步实现该模型的本地部署。
博客
如何在算家云搭建SadTalker（数字人）
10-16 397
SadTalker 是一个基于深度学习的AI 数字人制作工具，可以通过对照片中的人物进行动态化处理,生成具有头部运动和面部表情的数字人。该模型通过接收一张图片和一段音频文件，能够自动生成包含人脸动作（如张嘴、眨眼、移动头部等）的说话动画视频。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建SadTalker 。‌
博客
Fooocus模型部署指南
10-16 339
Fooocus是一款开源的AI绘画工具，由斯坦福大学博士生张吕敏（Github上用户名lllyasviel）开发。是一款结合StableDiffusion和Midjourney理念的图像生成工具，提供离线、开源且易于使用的界面。它简化安装步骤，用户只需关注创意提示，无需调整技术参数。
博客
champ模型部署指南
10-15 517
champ是由阿里巴巴、复旦大学和南京大学的研究人员共同提出的一种基于3D的将人物图片转换为视频动画的模型，能够精确地捕捉和再现人体的3D形状和动态，同时保持动画的时间一致性和视觉真实性，以生成高质量的人类动画视频。
博客
如何在算家云搭建EchoMimic（数字人）
10-15 486
EchoMimic 是一个由阿里巴巴蚂蚁集团开发的开源 AI 数字人项目，通过可编辑地标调节实现逼真的音频驱动肖像动画，它能够将静态图像转化为具有动态语音和表情的数字人像。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建EchoMimic 。‌
博客
如何在算家云搭建Video-Infinity（视频生成）
10-14 766
Video-Infinity是一个先进的视频生成模型，使用多个 GPU 快速生成长视频，无需额外训练。它能够基于用户提供的文本或图片提示，创造出高质量、多样化的视频内容。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Video-Infinity。‌
博客
Llama3-Factory模型部署新手指南
10-14 708
Llama3 通过深度学习技术，特别是基于 Transformer 架构的预训练模型，实现了对自然语言的高度理解和生成能力。它利用了海量的文本数据进行训练，从而能够捕获语言的复杂模式和规律，并在各种自然语言处理任务中展现出卓越的性能。本文详细介绍了如何实现本地部署该模型。
博客
如何在算家云搭建SVHN-Recognition（门牌号识别）
10-12 469
门牌号识别模型采用了基于 PyTorch 的深度卷积神经网络实现，旨在从街景图像中识别多位数的门牌号。利用来自 Google 街景门牌号的 SVHN 数据集，该模型经过训练，能够识别每张图像中的阿拉伯数字组合（0-9）。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建SVHN-Recognition。‌
博客
LongWriter模型部署教程
10-12 610
LongWriter是由清华大学数据挖掘研究组开发的语言模型，该模型具备出色的长文本生成能力。本文将探讨该如何实现LongWriter模型在本地的部署。
博客
如何在算家云搭建Kolors（图像生成）
10-11 971
Kolors 是快手 Kolors 团队基于潜在扩散的大规模文本转图片生成模型。经过数十亿个文本-图片对的训练，Kolors 在视觉质量、复杂语义准确性和中英文文本渲染方面均比开源和闭源模型具有显著优势。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Kolors。‌
博客
Cinemo模型部署指南
10-11 302
Cinemo模型是一个在图像动画领域具有创新性的方法，它能够将静态图片转换成动态视频，同时保持图片原有的细节和风格不变。本文详细介绍了该如何在本地部署该模型。
博客
AI占据2024诺贝尔两大奖项，是否预示着未来AI即一切？
10-10 803
物理学中众多现象早已超越人类直觉以及传统的因果思维模式，而 AI 能够以更全面的视角加以处理，协助科学家绕开这些认知层面的障碍，直接从数据中提取出有用信息。此次诺贝尔奖的颁发也促使我们深刻思考，或许在面对日益复杂的自然现象时，我们需要跳出传统的思维框架和人类直觉，转而接纳复杂性与多样性。大卫·贝克已经掌握了生命的构建模块，并创造出了全新的蛋白质。实际上，在当今 AI 技术持续取得突破性进展的时代背景下，AI 已然不再仅仅是科学研究中的辅助性工具，而是逐步演变为理解自然规律、突破研究边界的核心推动力量。
博客
如何在算家云搭建Omost（图像生成）
10-10 862
Omost 是一个将 LLM 的编码能力转换为图像生成（或更准确地说，图像合成）能力的项目。作为 ControlNet 作者倾力打造的创新项目，标志着图像生成技术的一次革命性飞跃。该项目巧妙地将大型语言模型（LLM）的强大编码能力转化为直观且高效的图像生成能力，为用户带来前所未有的创作体验。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Omost。‌
博客
RWKV-CHN模型部署教程
10-10 1260
RWKV-x060-World-7B-v2.1-20240507-ctx4096 一号空间，RWKV 语言模型旨在通过为自动化所有事情来消除使用大型语言模型的障碍。用户所需要的就是一个只有几兆字节的轻量级可执行程序。本文将详细介绍如何实现该模型的本地部署。
博客
如何在算家云搭建LivePortrait（视频生成）
10-09 450
LivePortrait是一个可控人像视频生成框架，能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。‌本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 LivePortrait。‌
博客
GPT-SOVIT模型部署指南
10-09 611
强大的小样本语音转换和文本转语音 WebUI，GPT-Sovits是一个热门的文本生成语音的大模型,只需要少量样本的声音数据源,就可以实现高度相似的仿真效果。本文将详细介绍如何实现该模型本地部署。
博客
如何在算家云搭建MuseTalk（数字人）
10-08 565
MuseTalk 是由腾讯团队开发的先进技术，它是一个实时的音频驱动唇部同步模型。该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。‌本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建MuseTalk 。‌
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值