metaportrait_pytorch一种保持身份的说话头部生成框架模型

于 2024-08-01 10:15:15 发布
阅读量425 收藏 7
点赞数 9
分类专栏： 人工智能&深度学习&机器学习 文章标签： pytorch 人工智能 python 框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/140579505
版权

MetaPortrait

论文

MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation

https://browse.arxiv.org/pdf/2212.08062.pdf

模型结构

整体流程

（a）𝐼𝑠表示输入的原始图像，𝐼𝑑表示被模仿的图像（视频中的某一帧），𝐼𝑠𝑙𝑑𝑚𝑘和𝐼𝑑𝑙𝑑𝑚𝑘分别表示两者的dense landmark；（b）𝑥𝑖𝑛=𝐶𝑜𝑛𝑐𝑎𝑡(𝐼𝑠,𝐼𝑠𝑙𝑑𝑚𝑘,𝐼𝑑𝑙𝑑𝑚𝑘)也就是在阶段（a）中的输入𝐼𝑠及两个输出，𝐸𝑤表示CNN Encoder；（c）𝐸𝑖𝑑为已经预训练的人脸识别模型，FILM表示Feature-wise Linear Modulate，AdaIN表示一种风格迁移方法。

warping network

𝐹𝑟

𝐹3𝑑

算法原理

用途：该算法可以用来生成单镜头说话的头部视频

原理：

  1. dense landmarks获取几何感知的变形场估计,自适应融合源身份以更好地保持肖像关键特征

  2. meta learning加快模型的微调（学习）速度

  3. 时域一致的超分辨率网络提高图像分辨率

环境配置

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk-23.04-py37-latest
docker run --shm-size 10g --network=host --name=metaportrait --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v 项目地址<绝对路径>:/home/ -it <Image ID> bash
pip install -r requirements.txt
cd sr_model/Basicsr
pip uninstall basicsr
python setup.py develop
pip install urllib3==1.26.15

Dockerfile（方法二）

docker build --no-cache -t MetaPortrait:latest .
docker run --shm-size 10g --network=host --name=metaportrait --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -it <Image ID> bash
cd sr_model/Basicsr
pip uninstall basicsr
python setup.py develop
pip install urllib3==1.26.15
# 若遇到Dockerfile启动的方式安装环境需要长时间等待，可注释掉里面的pip安装，启动容器后再安装python库：pip install -r requirements.txt

Anaconda (方法三)

1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装： https://developer.hpccube.com/tool/

DTK驱动：dtk23.04
python：python3.7
torch:1.13.1
torchvision:0.14.1
torchaudio:0.13.1
deepspeed:0.9.2
apex:0.1

2、创建虚拟环境并加载

conda create -f meta_portrait_base python=3.7
conda activate meta_portrait_base 

pip install -r requirements.txt

cd sr_model/Basicsr
pip uninstall basicsr
python setup.py develop

数据集

下载地址： https://drive.google.com/file/d/166eNbabM6TeJVy7hxol2gL1kUGKHi3Do/view?usp=share_link

base_model
    data
    ├── 0
    │   ├── imgs
    │   │   ├── 00000000.png
    │   │   ├── ...
    │   ├── ldmks
    │   │   ├── 00000000_ldmk.npy
    │   │   ├── ...
    │   └── thetas
    │       ├── 00000000_theta.npy
    │       ├── ...
    ├── src_0_id.npy  # identity_embedding可使用人脸识别模型获取
    ├── src_0_ldmk.npy  # landmarks
    ├── src_0.png 
    ├── src_0_theta.npy  # 将人脸对齐到图像中心的变换矩阵
    └── src_map_dict.pkl

下载地址：

（模型）https://github.com/Meta-Portrait/MetaPortrait/releases/download/v0.0.1/temporal_gfpgan.pth

（模型）https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth

（数据集）https://hkustconnect-my.sharepoint.com/personal/cqiaa_connect_ust_hk/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fcqiaa_connect_ust_hk%2FDocuments%2Ftalking head%2Frelease%2Fdata%2FHDTF_warprefine&ga=1

sr_model
    pretrained_ckpt
    ├── temporal_gfpgan.pth
    ├── GFPGANv1.3.pth
    ...
    data
    ├── HDTF_warprefine
    │   ├── gt
    │   ├── lq
    │   ├── ...

训练

1.训练warping network

cd base_model
CUDA_VISIBLE_DEVICES=0 python main.py --config config/meta_portrait_256_pretrain_warp.yaml --fp16 --stage Warp --task Pretrain

2.联合训练warping network和refinement network，需要修改config/meta_portrait_256_pretrain_full.yaml中的warp_ckpt

CUDA_VISIBLE_DEVICES=0 python main.py --config config/meta_portrait_256_pretrain_full.yaml --fp16 --stage Full --task Pretrain

3.训练sr model

cd ../sr_model
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node=1 --master_port=4321 Experimental_root/train.py -opt options/train/train_sr_hdtf.yml --launcher pytorch

推理

1.生成256x256的图片

下载模型：https://drive.google.com/file/d/1Kmdv3w6N_we7W7lIt6LBzqRHwwy1dBxD/view (放入checkpoint文件夹中)

cd base_model
CUDA_VISIBLE_DEVICES=0 python inference.py --save_dir result --config config/meta_portrait_256_eval.yaml --ckpt checkpoint/ckpt_base.pth.tar

2.提升图片分辨率

cd ../sr_model
CUDA_VISIBLE_DEVICES=0 python -m torch.distributed.launch --nproc_per_node=1 --master_port=4321 Experimental_root/test.py -opt options/test/same_id_demo.yml --launcher pytorch

result

精度

psnrlpipsEwarp
26.9160.15140.0244

应用场景

算法类别

风格迁移

热点应用行业

科研,教育,广媒

源码仓库及问题反馈

ModelZoo / MetaPortrait_pytorch · GitLab

参考资料

GitHub - Meta-Portrait/MetaPortrait: [CVPR 2023] MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation

How do i try on custom test dataset? · Issue #4 · Meta-Portrait/MetaPortrait · GitHub

GitHub - 1adrianb/face-alignment: :fire: 2D and 3D Face alignment library build using pytorch

#010 How to align faces with OpenCV in Python - Master Data Science

技术瘾君子1573
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
YOLOv5_DeepSORT_Pytorch训练自己的多目标跟踪模型
weixin_50008473的博客
01-06 1万+
1 准备 环境配置：https://blog.csdn.net/weixin_50008473/article/details/115250986?spm=1001.2014.3001.5501 YOLOv5_DeepSORT_Pytorch代码地址： https://github.com/mikel-brostrom/Yolov5_DeepSort_Pytorch DeepSORT论文：https://arxiv.org/pdf/1703.07402.pdf 2 训练目标检测模型 训练自己的目标检测模
segmentation_models_pytorch库学习
学无止境、积少成多、厚积薄发
10-20 1万+
segmentation_models_pytorch是一个基于PyTorch的图像分割神经网络 这个新集合由俄罗斯的程序员小哥Pavel Yakubovskiy一手打造。 github地址：https://github.com/qubvel/segmentation_models.pytorch 该库的主要功能是： 高级API（只需两行即可创建神经网络） 用于二分类和多类分割的7种模型架构（包括传奇的Unet） 每种架构有57种可用的编码器 所有编码器均具有预训练的权重，以实现更快更好的
【pytorch】找不到d2lzh_pytorch包，No module named ‘d2lzh_pytorch’
sazass的博客
10-06 1万+
这实际上是动手学深度学习PyTorch里的一个包，不可以直接pip下载。 1.下载d2lzh_pytorch 直接百度云： 链接：https://pan.baidu.com/s/1zzPITzCscnyPUAIgSPAaiA 提取码：svwp 2.存放位置 我是在Anaconda环境下安装PyTorch，然后在该位置解压d2lzh_pytorch包 E:\anaconda\anaconda3\envs\pytorch\Lib 3.调用： import sys sys.path.append("..")
PyTorch图像分割模型——segmentation_models_pytorch库的使用
热门推荐
oJiWuXuan的博客
08-10 3万+
一、概要 segmentation_models_pytorch是一个基于PyTorch的图像分割神经网络 这个新集合由俄罗斯的程序员小哥Pavel Yakubovskiy一手打造，对于图像分割而言简直就是神器般的存在。 github地址：https://github.com/qubvel/segmentation_models.pytorch 该库的主要功能有： 高级API（只需两行即可创建神经网络）； 用于二分类和多类分割的9种模型架构（包括传奇的Unet）（Unet、Unet++、MAnet、Lin
语义分割模型库segmentation_models_pytorch的详细使用介绍
a486259的博客
07-07 7222
segmentation_models_pytorch（后文简称smp）是一个用于语义分割的高级模型库，支持9种语义分割网络，400多座编码器，本来对这只支持个别网络的模型库博主是不感兴趣的。但是，在查看到好几个竞赛的top方案都是使用unet++(efficientnet做编码器)，博主心动了。如果想要使用更多更全的语义分割模型还是推荐使用MMSegmentation，把MMSegmentation作为语义分割模型库使用可以参考pytorch 24 把MMSegmentation的作为pytorch的语义
深度学习之环境配置--配置d2lzh_pytorch包
NEUQ_snowy的博客
04-05 5805
d2lzh_pytorch是《动手学深度学习》中的包，pytorch原有的包中不包含这个包，因此我们需要单独进行配置。 1.下载 通过百度网盘下载d2lzh_pytorch包 https://pan.baidu.com/s/1i9EdeuzgfNnx4TTjccdrbQ?pwd=cvvg 2.配置 打开anaconda，选择你的环境找到Lib文件中的site-packages,并将下载好的d2lzh_pytorch文件夹复制进来 3.配置torchtext 由于d2lzh_pytorch中调用了
开源人脸识别项目insightface_pytorch
lu_linux的博客
02-07 5644
insightface_pytorch主要做了以下几个方面的工作： * 使用的相关算法 人脸检测： 由原来的retina改成了MTCNN，准确度差了不少 人脸对齐： 由原来的Dense U-Net改成了MTCNN 人脸识别： 当前可以支持mobilefacenet和resnet50-ir两种 * 提供了一个demo用于实现人脸实时识别 * 提供了数据转换模块，用于将MXNET数据格式的数据转换成pytorch支持的Image Dataforders * 提供了模型训练模块 运行环境： p.
人工智能(pytorch)搭建模型11-pytorch搭建DCGAN模型，一种生成对抗网络GAN的变体实际应用
weixin_42878111的博客
06-12 3919
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型11-pytorch搭建DCGAN模型，一种生成对抗网络GAN的变体实际应用，本文将具体介绍DCGAN模型的原理，并使用PyTorch搭建一个简单的DCGAN模型。我们将提供模型代码，并使用一些数据样例进行训练和测试。最后，我们将展示训练过程中的损失值和准确率。
【人脸识别】基于facenet_pytorch实现人脸识别
weixin_45939929的博客
05-15 7698
基于facenet_pytorch判断两张人脸的欧氏距离，从而实现人脸识别。
PyTorch中查看模型的参数信息的几种方式
长夜漫漫，无心睡眠
01-25 3303
【代码】PyTorch中查看模型的参数信息的几种方式。
chinese_wwm_ext_pytorch.zip
09-21
标题 "chinese_wwm_ext_pytorch.zip" 提供了一个关于预训练模型的特定版本，即哈工大（哈尔滨工业大学）发布的BERT模型的WWM-EXT版本，且该模型是用PyTorch实现的。这一模型是自然语言处理领域的重要资源，特别针对...
Person_reID_baseline_pytorch-master.zip_Person Re-ID:_PyTorch行人识
09-20
本项目基于PyTorch框架，提供了行人重识别的基线模型，其在Rank-1评估指标上达到了88%的准确率，而在平均精度均值（Mean Average Precision，mAP）上则达到了70%的性能，显示出该模型在实际应用中的高效性和准确性。...
d2lzh_pytorch.zip
03-03
在Python深度学习领域，PyTorch是一个非常流行的框架，它提供了灵活且直观的API，使得构建和训练神经网络变得简单易懂。"d2lzh_pytorch"是一个专门针对PyTorch的学习资源，它是一个由中文编写的开源库，旨在帮助自学...
d2lzh_pytorch包【下载即可用】
07-12
本书特别强调动手实践，而d2lzh_pytorch包则是作者为配合书中教学内容编写的Python包，专为使用PyTorch框架进行深度学习的初学者设计。这个包包含了书中所有章节的示例代码，让读者能够快速上手并跟随书中的步骤进行...
vgae_pytorch-master_vgae_vgae_pytorch-master_
09-29
1. **变分自编码器（VAE）**：VAE是一种概率性的生成模型，它通过学习输入数据的潜在分布来生成新的数据样本。VAE利用贝叶斯框架，通过引入一个随机变量，使得模型能够生成多样性和有意义的新数据。 2. **图神经...
【PyTorch】单目标检测项目部署
Frost_Descent的博客
07-23 602
详细参照前文【PyTorch】单目标检测项目import os# 定义一个函数，用于将a列表中的元素除以b列表中的对应元素，返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数，用于将a列表中的元素乘以b列表中的对应元素，返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数，用于调整图像和标签的大小# 获取原始图像的宽度和高度# 获取目标图像的宽度和高度。
昇思25天学习打卡营第1天|快速入门
07-28 558
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
带并行卷积的水下图像背景前景分割方法
最新发布
renhongxia1的博客
07-30 485
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
MOE模式：或将是最好的大模型应用开发路径
AI相关从业分享
07-28 596
MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。传统模型中的MOEGate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。
使用segmentation_models_pytorch实现单模型训练
09-24
### 回答1： segmentation_models_pytorch 是一个基于 PyTorch 的图像分割库，可以用来训练语义分割模型。下面是使用 segmentation_models_pytorch 实现单模型训练的基本步骤： 1. 安装 segmentation_models_pytorch 和其依赖项： ``` pip install segmentation-models-pytorch ``` 2. 加载数据集并进行预处理。可以使用 torchvision 或者其他图像处理库加载数据集，并对数据进行预处理，如裁剪、缩放、归一化等操作。 3. 定义模型。使用 segmentation_models_pytorch 中提供的模型类（如 UNet、FPN、PSPNet 等）来定义模型。 ```python import segmentation_models_pytorch as smp model = smp.Unet( encoder_name="resnet34", # 使用 ResNet34 作为编码器 encoder_weights="imagenet", # 加载预训练权重 in_channels=3, # 输入通道数 classes=2, # 分类数 ) ``` 4. 定义损失函数和优化器。可以选择使用交叉熵损失函数和 Adam 优化器。 ```python import torch.nn as nn import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 5. 训练模型。使用 DataLoader 加载数据集，并对模型进行训练。 ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset, batch_size=4, shuffle=True) for epoch in range(num_epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}") ``` 6. 保存模型。训练完毕后，可以使用 torch.save() 方法将模型保存到本地。 ```python torch.save(model.state_dict(), "model.pth") ``` ### 回答2： segmentation_models_pytorch是一个基于PyTorch实现的语义分割模型库。使用segmentation_models_pytorch实现单模型训练可以通过以下步骤完成。 首先，安装segmentation_models_pytorch库。可以通过pip install segmentation_models_pytorch命令来安装。 导入所需的库和模型。常用的库包括torch，torchvision和segmentation_models_pytorch。可以使用以下命令导入库： ```python import torch import torchvision.transforms as transforms import segmentation_models_pytorch as smp ``` 加载和预处理训练数据。可以使用torchvision中的transforms来定义一系列的数据预处理操作，例如裁剪、缩放和标准化等。之后，使用torch.utils.data.DataLoader来加载和批量处理数据。 定义模型架构。可以选择使用segmentation_models_pytorch中预定义的模型架构，例如UNet、PSPNet和DeepLab等。根据任务需求选择合适的模型，并初始化相关参数。 定义优化器和损失函数。常见的优化器有Adam和SGD等，损失函数常选择交叉熵损失函数。可以使用torch.optim中的函数来定义优化器，使用torch.nn中的损失函数来定义损失函数。 进行模型训练。使用torch.utils.data.DataLoader加载训练数据集，并迭代训练数据集中的每个批次。将批次数据输入模型中进行前向传播，获取模型的输出。计算损失，并进行反向传播更新模型的参数。重复以上步骤直到达到预定的训练轮数或达到设定的训练目标。 保存和加载训练好的模型。可以使用torch.save函数将训练好的模型保存到指定的文件路径，使用torch.load函数加载保存的模型文件。 以上是使用segmentation_models_pytorch实现单模型训练的基本步骤。根据具体任务和数据的不同，可能还需要进行一些细节操作，例如数据增强、学习率调整和模型评估等。 ### 回答3： segmentation_models_pytorch是一个基于PyTorch的分割模型训练库，可以应用于图像分割任务。下面我将介绍如何使用segmentation_models_pytorch实现单模型训练。 首先，我们需要安装segmentation_models_pytorch库。可以使用pip命令进行安装： ``` pip install segmentation-models-pytorch ``` 在训练之前，我们需要准备好训练数据和标签。通常情况下，训练数据是一些图像，标签则是对应每个像素点的分类或分割结果。 接下来，我们需要导入所需的库： ``` import segmentation_models_pytorch as smp import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset ``` 然后，我们需要创建一个自定义的数据集类，该类继承自torch.utils.data.Dataset类，并实现__len__和__getitem__方法，用于加载和处理数据。 接着，我们可以选择一个合适的分割模型，比如Unet、FPN等。这些模型可以通过调用smp库中的函数进行初始化，比如： ``` model = smp.Unet( encoder_name="resnet34", encoder_weights="imagenet", classes=1, activation='sigmoid' ) ``` 在这里，我们选择了一个使用ResNet-34作为编码器、预训练权重为ImageNet数据集、分类数为1（二分类问题）的Unet模型。 然后，我们可以定义损失函数和优化器： ``` criterion = nn.BCELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 接着，我们可以进行训练循环，依次迭代数据进行训练和优化： ``` for epoch in range(num_epochs): for batch in dataloader: inputs, labels = batch optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 最后，我们可以保存模型并在需要预测时加载模型进行测试： ``` torch.save(model.state_dict(), "segmentation_model.pt") model.load_state_dict(torch.load("segmentation_model.pt")) ``` 以上就是使用segmentation_models_pytorch实现单模型训练的过程。根据具体任务需求，你也可以调整模型、损失函数、优化器等参数来进行更灵活的训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值