AIGC-SD6、AIGC-3D

最新推荐文章于 2025-06-09 19:41:42 发布
最新推荐文章于 2025-06-09 19:41:42 发布
阅读量206 收藏
点赞数 3
文章标签： AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34461199/article/details/148450691
版权

1、Shap-E

2、【AIGC-3D模型生成系列-文章2】基于单张图片生成高质量3D模型：Make-it-3D

一句话总结：提供了一种两阶段优化方案：一阶段基于输入图片，通过神经辐射场及扩散模型，生成全新其他视角的图像。二阶段将粗模转化成含有精细纹理点云模型，同时解决噪声点云的引入问题。

3、【AIGC-3D模型生成系列-文章3】Prolific-Dreamer：来自清华-文本生成超高质量3D内容

4、【AIGC-3D模型生成系列4】Zero-123：从多视角生成到3D重建的AIGC方案

5、【AIGC-3D模型生成系列-文章5】Magic-123：基于Zero-123思路的两阶段优化3D生成

O_meGa
关注
AIGC-SD7、AI视频生成
sinat_34461199的博客
06-05 264
1、一句话亮点：当文本-视频生成也不需要额外数据训练，只需要基于现有的diffusion-model 如Stable Diffusion能力调整即可实现，解决生成视频帧间不一致问题，是不是很心动2、FateZero: 融合注意力机制的Zero-shot 高质量视频编辑。
AIGC-SD8、AIGC知识点
sinat_34461199的博客
06-05 551
AI绘画基础：介绍一下OFT(Orthogonal-Finetuning)微调技术Stable Diffusion 3的Text Encoder有哪些改进？Sora的最新功能有哪些？Sora支持哪几种多模态输入？LayerNorm有什么作用？不同模态的数据如何进行Token化操作？介绍一下机器学习中的Huber-Loss损失函数介绍一下机器学习中不同聚类算法的性能特点AI服务的Python代码用PyTorch框架重写优化的过程中，有哪些方法论和注意点？
2023-12-20 AIGC-使用SD创建虚拟数字人
悟世之路
12-20 1386
2023-12-20 AIGC-使用SD创建虚拟数字人。
AIGC-SD3、控制
sinat_34461199的博客
06-05 786
本文提出一种两阶段多概念生成方法 OMG，一阶段先不用特定概念信息生成一张垫图，确定构图布局，然后提取垫图全面的视觉信息（mask 和 attention map），二阶段将各角色的特定概念信息作用于对应的 mask 区域，避免信息泄露，属性错乱，并复用一阶段的 attention map，维持构图布局不变。controlnet基于深度图生图的效果很好，但需要精确的深度图（这本身就是有挑战性的），为此，作者提出了loose control，一种通用版本（更松散的）的深度图控制。(a)默认奖励微调策略管道。
AIGC-Stable Diffusion Webui-AI作画初体验
github_38727595的博客
03-02 999
Stable Diffustion, AIGC, AI智能画图，本地，Nvidia GeoForce 1080 8G*2
AIGC丨运用SD转3D工作流
2301_80239908的博客
06-25 906
在学习SD的过程中, 也因为工作有需求开始深入研究转3D这块，终于有了空闲时间去尝试，之前是跑明白了人物，我看了小红书以及B站各种教程，发现人物是比较好控制，但是抽象物种，非人类感觉还挺难保持的，可能是样本少了，看了B站设计师老克的教程，也实操了下，算是基本掌握了这个转3D的方法，形成自己的一套工作流，在此总结。
玩转 AIGC！使用 SD-WebUI 实现从文本到图像转换
2301_78285120的博客
04-22 2501
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的以及其他图像处理任务。
AIGC-VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models-CVPR2024
hflexxx的博客！喜欢的话点个关注！
07-23 716
AIGC-VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models-CVPR2024，在不使用高质量视频的情况下训练高质量视频模型
2023-12-04 AIGC-Stable Diffusion和SadTalker-搭建及使用
悟世之路
12-04 814
2023-12-04 AIGC-SadTalker-搭建及使用。
AIGC-《Diffusion Illusions: Hiding Images in Plain Sight》cvpr2023 论文详细解读
hflexxx的博客！喜欢的话点个关注！
05-06 773
illusions，CVPR2023，论文＋代码详细解读
AIGC探索-绘本创作复盘及获奖总结
wincyfu的博客
05-19 1090
我始终觉得对于AI，作为设计师的我们应该保持开放的心态，勇于尝试，通过发挥自身的创造力和专业能力，利用AI工具的辅助，我们可以创造出更加精彩、独特的作品，相信每一个设计师都能在这个融合技术与艺术的领域中不断成长与进步！同时我也发现了绘本中还存在很多不足，因此在本文中我对此次创作的思路重新进行整理，复盘绘本创作全流程，总结上次创作过程中的不足，并针对这些问题改进，完善了绘本创作过程，所以文中举例图片会与参赛作品存在差异。根据ChatGPT给出的几个作者，分别去搜索他们的画风，选择你觉得合适的画风。
AIGC 基础篇 Python基础 03 列表与条件判断
2503_91291623的博客
06-09 328
列表，条件判断
AIGC 基础篇 Python基础 01
2503_91291623的博客
06-06 792
python注释，变量，基础数据类型，赋值
AIGC（AI Generated Content）测试结合自动化工具与人工评估
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
06-09 180
通过系统化测试框架+工具链组合，可降低50%内容风险，提升生成质量达标率至90%+。四大维度，结合自动化工具与人工评估。AIGC（AI Generated Content）测试需覆盖。
AIGC 基础篇 高等数学篇 03 中值定理与导数应用
2503_91291623的博客
06-04 326
中值定理与导数应用复习
AIGC-SD1、原版SD
sinat_34461199的博客
06-05 855
ADD是两个损失函数来进行蒸馏的，第一个是Adversarial loss（对抗损失），用了一个Discriminator(判别器）来判断生成图片跟真实图片的区别，同时避免其他蒸馏方法中出现的模糊和其他人造的感觉。SDXL-Turbo的两个loss的ADD方案，一个去确保生成质量(Adversarial loss，GAN的核心思想)，一个去确保跟原模型的一致性（Distillation loss）使用了几个简单但是非常有效的训练技巧，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等。
AIGC-SD9、知识点
sinat_34461199的博客
06-05 1213
Rectified Flow 原理简介与示例代码解读-CSDN博客。
AIGC-SD5、高效微调
sinat_34461199的博客
06-05 787
虽然 LoRA 具有参数的高效性 parameter-efficient, ，但它存在两个主要问题：首先，LoRA 文件的大小是固定的，在训练后无法修改，如果我们需要更改其中的 Rank 秩数，那么只能从头开始训练，在训练过程中调整 Rank 秩数然后再次生成新的模型。DyLoRA 可以同时学习低于你指定的 Rank 的各个 Rank 的 LoRA，这便导致训练好的 DyLoRA 模型文件的 Rank 是可轻易调整的，因此当你想要选择最佳 Rank 秩时它非常有用且高效。最初的 LoRA 在提出时是针对。
如何微调文生图模型？
最新发布
06-10
<think>嗯，用户想要了解微调文生图模型的方法和最佳实践。从对话历史看，用户之前接触过一些大模型微调的概念，比如有监督微调和RLHF，但这次聚焦在文生图领域。需要特别注意用户提到的引用内容只是参考，实际需求很明确。用户可能正在探索AIGC领域的技术实现，或许是研究者或开发者。ta特意强调“不是用户真正的需求”，说明需要避免泛泛而谈，要聚焦文生图场景的具体操作。考虑到文生图模型微调涉及计算资源消耗，用户应该具备一定的硬件条件。专业层面需要覆盖三个核心维度：首先是方法分类（轻量级vs全参数），其次是数据工程的关键点（质量、格式、清洗），最后是训练细节（参数设置、评估指标）。特别要注意StableDiffusion这类主流模型的实践细节，比如LoRA的应用场景。上次回答中提到的数据多样性原则仍然适用，但文生图任务对图像-文本对的要求更高。需要补充说明提示词工程的特殊性——不同于纯文本任务，文生图的提示词需要包含视觉元素描述。安全提示容易被忽略但很重要，要提醒NSFW过滤和版权风险。最后补充实操工具链（如HuggingFace的Diffusers库）才能形成闭环。用户可能需要即时可用的代码示例，但当前问题更偏方法论，下次可以主动提供。</think> 以下是微调文生图模型（如Stable Diffusion、DALL-E等）的方法论和最佳实践，结合关键步骤和技术要点： --- ### **一、核心方法** 1. **有监督微调 (Supervised Fine-tuning)** - **原理**：使用标注好的`图像-文本对`数据集，调整模型权重以最小化生成图像与目标图像的差异[^1]。 - **步骤**： - 数据集构建（例：10,000组 `[提示词, 对应图像]`） - 冻结部分主干网络，仅训练输出层或注意力模块 - 损失函数：通常采用`CLIP Loss`（衡量图文匹配度）+ `像素级MSE Loss` 2. **轻量级适配器技术** - **LoRA (Low-Rank Adaptation)** - 注入低秩矩阵替代全参数更新，节省90%显存[^3] - 适用场景：保留原模型通用能力的同时添加特定风格（如动漫风） - 代码示例（PyTorch伪代码）： ```python # 在CrossAttention层插入LoRA original_weight = attention_layer.weight lora_A = nn.Linear(in_features, rank, bias=False) # 低秩矩阵A lora_B = nn.Linear(rank, out_features, bias=False) # 低秩矩阵B adapted_weight = original_weight + lora_B(lora_A(input)) ``` 3. **提示词工程微调 (Prompt-Tuning)** - 训练可学习的提示词嵌入向量，替代修改模型权重 - 优点：单GPU可完成，适用于小样本场景（<100张图） --- ### **二、最佳实践流程** #### **步骤1：明确任务定义** | 维度 | 示例 | |------------|-------------------------------------| | **领域** | 医疗影像生成 / 游戏原画设计 | | **风格** | 水墨画 / 赛博朋克 / 3D渲染 | | **精度** | 分辨率要求（如1024x1024） | #### **步骤2：数据准备关键点** - **数据要求**： - 最小数据集：500+ 高质量图文对（避免噪声标注） - 文本提示词需包含：主体/动作/风格/细节（例："星空下的武士，赛博朋克风格，机械臂，霓虹灯光"） - **预处理**： - 图像归一化为`512x512`（SD默认尺寸） - 文本分词器对齐（如CLIP ViT-L/14） #### **步骤3：训练策略** | 参数 | 推荐值 | 作用说明 | |---------------------|-------------------|------------------------| | 学习率 (Learning Rate) | 1e-5 ~ 5e-6 | 防止灾难性遗忘 | | 批次大小 (Batch Size) | 4~16 (根据显存调整) | 影响梯度稳定性 | | 训练轮次 (Epochs) | 50~200 | 依赖数据集规模和复杂度 | #### **步骤4：优化技巧** 1. **渐进式训练** - 第一阶段：微调文本编码器（适配新概念） - 第二阶段：联合微调U-Net+文本编码器 2. **混合精度训练** - 使用`torch.cuda.amp`节省40%显存 3. **正则化方法** - 添加`权重衰减 (Weight Decay=0.01)` 防止过拟合 - 对生成图像做`CLIP Score评估`（阈值>0.28） --- ### **三、常见问题解决** | 问题现象 | 解决方案 | |------------------------|------------------------------| | 模式崩溃（生成单一图像） | 增大数据集多样性 + 降低学习率 | | 细节模糊 | 在提示词中添加细节描述词 | | 过拟合训练集 | 早停(Early Stopping)+数据增强| > **注**：微调Stable Diffusion的典型硬件配置：**24GB显存GPU（如RTX 3090/4090）**，全参数微调需≥48GB显存。 --- ### **四、实践工具推荐** 1. 框架：[HuggingFace Diffusers](https://github.com/huggingface/diffusers) 2. 轻量微调：[LoRA插件](https://github.com/cloneofsimo/lora) 3. 云平台：Lambda Labs / RunPod（支持A100实例） > 通过结合领域定制数据（如医疗报告配图）和轻量微调技术，可降低训练成本50%以上[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值