PhotoMaker 数字分身｜ 几秒钟内为任何人创建任何风格的照片、绘画、头像

最新推荐文章于 2024-08-26 15:23:01 发布
最新推荐文章于 2024-08-26 15:23:01 发布
阅读量723 收藏 19
点赞数 26
文章标签： stable diffusion AI作画 ai绘画 aigc 人工智能 人工智能作画 ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/text2203/article/details/140620283
版权

前前一阵儿，腾讯推出了 PhotoMaker，一个可以在 几秒钟内为任何人创建任何风格的照片/绘画/头像 的模型

支持 图片风格转换、年龄性别转换、人物特征图片合 并功能。

直接先来看效果，使用方式在后半程～

逼真写实

在这里插入图片描述

风格化

在这里插入图片描述

在这里插入图片描述

将艺术品/老照片中的人物带入现实

在这里插入图片描述

改变年龄或性别

在这里插入图片描述

人物特征混合

在这里插入图片描述

一 PhotoMaker

PhotoMaker 是一种高效的个性化文本到图像生成方法,它可以根据给定的文本提示合成逼真的人物照片，具备以下特点

  • 高效性：PhotoMaker 能够高效地合成照片,同时保持良好的身份保真度和灵活的文本可控性。

  • 身份编码：PhotoMaker 将任意数量的输入身份图像编码为一个堆叠身份嵌入(Stacked ID Embedding)。这种嵌入式表示不仅可以全面地捕获同一输入身份的特征,还可以容纳不同身份的特征,为后续集成奠定基础。

  • 应用场景：PhotoMaker 不仅能生成逼真的人物照片,还可以将艺术作品或古老照片中的人物"带入"现实,并实现人物的风格化、性别和年龄的变化,以及不同身份的混合。

实现机制

在这里插入图片描述

  1. 信息潜入编码：将用户的文本/图片输入进行编码

  2. 信息融合：PhotoMaker 将文本嵌入与图像嵌入进行融合，形成一个统一的ID表示，包含图像的视觉信息和文本描述的语义内容

  3. 堆叠ID嵌入：将所有的融合嵌入会被堆叠起来，形成一个完整的ID嵌入。这个嵌入在生成过程中起到了关键作用，它确保了生成图像的身份特征得以保留

  4. 图像合成：在推理阶段，PhotoMaker 会使用这个堆叠ID嵌入来指导图像的生成过程，从而创造出既符合文本描述又保持用户指定身份特征的图像

二 使用

科学上网在线体验

如果你可以科学上网，直接访问 https://huggingface.co/spaces/TencentARC/PhotoMaker-Style 进行体验

在这里插入图片描述

使用方法就很简单了，上传包含头像的照片集合，输入提示词，设置风格

人物：yangmi
提示词：a woman img, retro futurism, retro game art style but extremely beautiful, intricate details, masterpiece, best quality, space-themed, cosmic, celestial, stars, galaxies, nebulas, planets, science fiction, highly detailed
风格：Cinematic

在这里插入图片描述

提示词：a woman img,18 years old, running on the beach
风格：Photographic

在这里插入图片描述

ComfyUI 工作流

先下载 PhotoMaker 工作流和模型(ZHO-ZHO-ZHO大佬提供的工作流)，在后台回复 插件 两个字获取下载地址哦

下载解压到你的 ComfyUI 目录下 ComfyUI/custom_nodes，并在 ComfyUI/custom_nodes/ComfyUI-PhotoMaker-ZHO下执行

pip install -r requirements.txt

执行命令安装好依赖后，重启。加载的模型需要是SDXL模型哦

在这里插入图片描述

看看效果

提示词：a woman img, retro futurism, retro game
风格：cinematic

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

AIGC阿道夫
关注
数字人分身系统源码，智能克隆自动生成视频
11-01
只需录制一个123，321的口播视频，就可以按你的声音，动作，表情克隆你的数字人分身。这时只需输入文案就可以让数字人帮你录制视频。解决大家没时间,忘词,表现力差等问题
Python - PhotoMaker 初体验 - 快来 DIY 你的图像
BITDDD小栈
01-18 3204
Python PhotoMaker DIY 自定义图像。
Photomaker使用教程
Tang_Qie的博客
05-13 2461
PhotoMaker 是一个由 Tencent ARC Lab 和 Nankai University MCG-NKU 共同主办的开源项目，专注于生成定制化的真实人类照片。本文只提供本地部署教程，不讨论原理部分。
PhotoMaker V2 来了，快速生成高质量写真！
XLionXxxx的博客
08-26 314
近期，PhotoMaker 出了 V2 版本，PhotoMaker V2 继承了 PhotoMaker V1 的良好特性，如高质量和多样化的生成能力，以及强大的文本控制，但在角色一致性和可控性上都有了大提升。平台会自动选择合适的算力资源和镜像版本，这里使用的是英伟达 RTX 4090 的算力和 PyTorch 的镜像，点击「审核并执行」。：选择希望生成的图片的特点。这里需要注意的是，需要加上 img 这三个字母，因为这是模型的 trigger word，如果模型没有识别到就无法进行输出。
PhotoMaker, 腾讯开源人像图形处理
01-16 1216
腾讯于昨天开源一款人像图形处理项目，项目地址：github.com/TencentARC/PhotoMaker。项目可以下载本地部署，感兴趣的同学关注一下。
腾讯开源AI工具PhotoMaker，无需训练模型就能保持脸部一致随意换装。
heehelcom的博客
01-16 797
最近，AI文本到图像生成领域取得了显著进展，然而，现有的个性化生成方法已经无法同时满足用户的需求，这次腾讯发布了PhotoMaker框架，可以在无需训练lora模型的情况下，把图像随意更换风格并能保持脸部一致，迅速获得了广大网友的青睐。简单来说，PhotoMaker能够在保留人物特征的情况下，轻松更换多种风格也不失真，同时，它还满足高质量输出，最终出来的效果相对好很多。它的工作原理是从文本编码器和图像编码器分别获得来源，通过合并和提取相应类的ID嵌入。PhotoMaker的发布，使得在。
PhotoMaker：一个可以创建任何风格、任何人的照片/绘画/头像生成器
2401_83063795的博客
02-29 1109
PhotoMaker：一个可以创建任何风格的任何人的照片/绘画/头像的生成器。 - 精选真开源 释放新价值
数字人分身系统源码下载
最新发布
11-01
数字人分身系统，克隆你的动作表情，输入分案就能生产视频。 系统源码交流学习
全网首发AI人物写真、_AI数字分身、AI头像、Lora、comfyui、stable_dif
09-09
全网首发AI人物写真、_AI数字分身、AI头像、Lora、comfyui、stable_diffus_EasyPhoto-AI-Camera
AI数字人克隆系统！ 大量生成数字人克隆分身
11-01
大量生成数字人克隆分身！ 形象克隆！声音克隆！ 批量生成文案！视频合成！ 只需要对着镜头说123321，30秒克隆你的数字分身！ 输入文案即可生成高质量口播视频！ 动作神态！真实还原！助力人人自媒体创作！ 无限人物...
数字人克隆开源源码完整版
11-01
只需要对着镜头说123321，30秒克隆你的数字分身，输入文案即可生成高质量 口播视频！动作、神态真实还原，助力人人自媒体创作！ 无限人物场景复刻 数字人换脸、图片克隆都支持 一个人也能轻松制作系列高质量内容 ...
PhotoMaker：高效个性化的文本生成逼真人物照片方法
AIGCer的博客
12-19 1185
给定要定制的几个 ID 图像，PhotoMaker 的目标是生成一张新的逼真人像，保留输入 ID 的特征并在文本提示的控制下更改生成的 ID 的内容或属性。尽管像 DreamBooth 一样输入多个 ID 图像进行定制，但仍然享有与其他无微调方法相同的效率，通过单次前向传递完成定制，同时保持较好的 ID 保真度和文本可编辑性。此外，还可以混合多个输入 ID，生成的图像可以很好地保留不同 ID 的特征，释放更多应用的可能性。
AI绘画：PhotoMaker Win11本地安装记录!
托尼不是塔克
01-30 1447
昨天介绍一个叫的AI绘画开源项目。挺不错的！通过这个项目可以快速制作特定人脸的AI绘画作品，相比传统的技术效果会好很多，效率也高很多。今天趁热打铁，本地电脑装装看，并且记录，分享一下！本文主要面向有一定配置基础的人，所以废话我就尽量少说了。把步骤说清楚，把命令留下，把坑填了，就收工了。会装的可以结束阅读直接去GitHub了。想努力一下的可以慢慢看，我尽量把关键信息写清楚。不想努力的直接拉到最后~~哈啊哈！
Python AI 之PhotoMaker 安装总结
zhouzhiwengang的专栏
03-18 1709
使用 Photomaker提供的 newton_man 的示例图像，可以看到其基于 list 读取，根据 README 的介绍，一个角色的图像越多，生成的会越精准或者和你的图像越像.此外metrics和modules也分别是在D:\cache\huggingface\metrics和D:\cache\huggingface\modules之下。模型缓存：D:\cache\huggingface\transformers或D:\cache\huggingface\hub（一般是这里）
【AIGC-AI人像生成系列-1】PhotoMaker：定制逼真的人体照片
sinat_19868271的博客
01-21 1512
PhotoMaker可以很好地保留输入图像池中的ID 信息, 并且支持许多有趣的应用程序，例如 (a) 更改属性，(b) 将艺术品或旧照片的人带入现实，或 (c) 身份混合。
被鹅厂最新开源AI绘画工具PhotoMaker圈粉了，多风格头像生成器就靠它了！
z_ipython的博客
01-28 1202
PhotoMaker是一款通过堆叠 ID技术嵌入定制出逼真的人体照片的开源工具。一个可以创建任何风格的任何人的照片/绘画/头像的生成器。能根据描述生成符合描述的人物照片。也能把几个不同人的照片特征混合在一起，创造出一个全新的人物形象。还能改变照片人物的性别、年龄和生成多种风格的其他照片。快速逼真，效果自然。更加无需训练LoRA即可保持角色一致性。实验结果表明，与其他类似模型相比，PhotoMaker具备高质量和多样化的生成能力，以及可编辑性、保真性。此外，这一方法还能实现更多以往难实现的有趣功能。
好玩！腾讯开源 PhotoMaker：高效地定制化生成任意风格的逼真人类照片！
叶庭云 成为自己的光
01-18 1593
研究者已经提出了 PhotoMaker，一个高效的个性化的文本到图像生成方法，专注于生成逼真的人类照片。PhotoMaker 利用一种简单而有效的表示方法：堆叠 ID 嵌入，来更好地保存 ID 信息。
体验 | Yann LeCun肯定的照片生成模型，PhotoMaker上线wisemodel社区
wisemodel的博客
01-27 1588
首先，从公开数据源，如VoxCeleb和VGGFace等，下载大量名人图片，并通过RetinaNet进行人脸检测和筛选，确保图片质量，之后，使用ArcFace进行ID验证，以识别和选择属于同一身份的脸部区域。PhotoMaker的核心特点是能够通过堆叠多个输入ID图像的嵌入（stacked ID embedding）来保留ID信息，这种方法不仅能够全面地封装同一输入ID的特征，还能够整合不同ID的特征以便于后续的融合。：将艺术作品或旧照片中的人物带入现实，生成逼真的照片。
元宇宙深度解析：虚拟数字人与NFT的崛起
虚拟数字人，作为内容和场景的重要组成部分，通过文字稿件、真实形象生成、声音合成以及AI驱动的动作表情，能够创建出高度模拟真人的虚拟分身。这种技术不仅降低了制作成本，也为广告、娱乐等领域提供了新的营销手段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值