IP-Adapter: Text Compatible Image Prompt Adapter forText-to-Image Diffusion Models #论文阅读

最新推荐文章于 2024-07-08 21:27:54 发布
最新推荐文章于 2024-07-08 21:27:54 发布
阅读量207 收藏 3
点赞数 7
文章标签： 论文阅读 stable diffusion ip adapter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29679623/article/details/138512652
版权
腾讯AI-lab发布了一篇文章，提出一种利用额外的crossattn模块将参考图片信息注入到文本生成模型中，实现风格控制的同时保持主体内容不变。这种方法简洁且允许文本与图像信息解耦，后续研究如PuLID延续了这一方向。
摘要由CSDN通过智能技术生成

URL

https://arxiv.org/pdf/2308.06721

TL;DR

23 年 8 月腾讯 AI-lab 的文章，目前 90+ 引用。通过一张参考图片来实现风格/ip 注入，来完成风格控制或者主体保持的任务。具体的实现方法是引入一个额外的 cross attn 模块来实现 img 的注入，和原本注入 text 信息的 cross attn 是并行关系。
以下是一些结果展示

在这里插入图片描述

Model & Method

文章的 ppl 如下图所示，对每一层都加入了一个新的 cross attn 层，用来注入参考图的 img 信息，与原来用于注入 text condition 的 cross attn 是并行关系，两者的 feature 直接相加。这样就实现了 img 信息的注入，同时还可以保留 txt condition。
在这里插入图片描述
image encoder 使用的是 clip，在训练的时候 clip 是冻住的，只引入了一个额外可训的 linear+LN 层用于适配输入的 channel 数

由于整体的思路比较简洁清晰，所以不做过多赘述。

Dataset & Result

结果展示如下图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Thoughts

  • 额外的 cross-attn 注入 img 信息，在与 text 信息交互的时候直接相加，这样是会与 text 信息相互影响的。比较明显的好处是做到了 txt 与 img 信息解耦。下一篇文章 PuLID 是很好的延续性工作
奔跑的汉堡包
关注
  • 7
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
In Search of Lost Online Test-time Adaptation: A Survey--论文笔记
dezwb的博客
07-08 602
本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查，OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用，但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题，这些问题混淆了真正的挑战，并使可重复性难以捉摸。为了清晰和严格的比较，我们将OTTA技术分为三个主要类别，并使用强大的视觉转换(ViT)主干对它们进行基准测试，以发现真正有效的策略。
【论文阅读笔记】ASPS: Augmented Segment Anything Model for Polyp Segmentation
qq_46056318的博客
07-08 259
ASPS：用于息肉分割的扩展SAM模型2024年 arxivPaperCode息肉分割在结直肠癌诊断中起着至关重要的作用。最近，Segment Anything Model(SAM)的出现利用其在大规模数据集上的强大预训练能力，为息肉分割带来了前所未有的潜力。然而，由于自然图像和内窥镜图像之间的区域差距，SAM在实现有效的息肉分割方面遇到了两个限制。首先，它的基于变压器的结构优先考虑全局和低频信息，可能会忽略局部细节，并在学习的特征中引入偏差。
【论文阅读】AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising
weixin_57974242的博客
07-07 366
简介：异步去噪并行化扩散模型。提出了一种新的扩散模型分布式加速方法，该方法在对生成质量影响最小的情况下显著降低了推理延迟。原理：用异步过程取代顺序去噪过程，允许去噪模型的每个组件在不同的设备上独立运行。动机：扩散模型的多步顺序去噪特性导致了高累积延迟，无法并行计算。AsyncDiff是一个通用的即插即用加速方案，可以跨多个设备实现模型并行，将噪声预测模型分成多个组件，并将每个组件分配给不同的设备。为了打破组件之间的依赖链，它利用连续扩散步骤中隐藏状态之间的高度相似性，将传统的顺序去噪转换为异步过程。
论文阅读 - Intriguing properties of neural networks
m0_52739647的博客
07-08 363
经典论文、对抗样本领域的开山之作发布时间：2014论文链接: https://arxiv.org/pdf/1312.6199.pdf作者：Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus写在前面：该文章已经发表10年了，该领域的发展十分迅速，本文中的一些观点可能并不准确。
YOLO-world论文阅读笔记
qq_42575422的博客
07-02 1006
结合CLIP和yolov8，CLIP提取文本特征，yolov8提取图像特征，核心是如何将文本特征和图像特征融合，这个特征融合模块要非常简单，最好融合一次就行，不用多多阶段融合，这样部署的时候就可以直接用CLIP离线编码好的文本特征，而不用再实时推理了，节约了大量的计算量，并且非常简单。之前的开集检测方法都需要在线编码文本，以获取需要检测的类别，而yolo-world只需要离线编码一次就行了，后面推理阶段直接用离线编码的文本就行，对部署非常友好。只微调分割头的话会有更好的开集分割能力（泛化能力）。
论文阅读：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-08 521
论文概述了LLMs在教育环境中的多种技术，包括学生和教师辅助、自适应学习和商业工具。系统回顾了每个视角下的技术进步，整理了相关数据集和基准测试，并识别了LLMs部署在教育中的相关风险和挑战。概述了未来的研究方向，强调了有前景的方向。
【论文阅读|异步联邦】FedASMU重读
m0_46554918的博客
07-08 607
但如果所有用户都在训练的时候请求新的全局模型，如果是同时申请，这样的状况，本文相当于只在本地聚合时多加了按权分配的策略，缓解了模型陈旧。表示 RL 训练过程的学习率，L 表示本地 epoch 的最大次数，∫L 对应第 L 个本地 epoch 后发送请求(1) 或 不发送请求(0) 的决定，bt 是减少模型偏差的基值。o 为全局模型的版本，l 为局部 epoch 个数，ηi 为设备 i 上的学习率，∇Fi(·) 为基于 Di 中无偏采样的小批 ζl−1 的梯度。元模型和局部模型都会生成每个时隙的概率。
【论文阅读】-- Visual Traffic Jam Analysis Based on Trajectory Data
zijin-jdd的博客
07-07 852
在这项工作中，我们提出了一个基于 GPS 轨迹的城市交通拥堵可视化分析交互式系统。对于这些轨迹，我们制定了提取和导出交通拥堵信息的策略。清理轨迹后，将它们与道路网络相匹配。随后，计算每个路段的交通速度并自动检测交通拥堵事件。空间和时间相关的事件在所谓的交通拥堵传播图中串联起来。这些图表形成了交通拥堵及其在时间和空间上的传播的高级描述。我们的系统提供了多种视图，可以在传播图层面和路段层面上直观地探索和分析整个大城市的交通状况。通过在北京收集的 24 天出租车 GPS 轨迹进行案例研究，证明了我们系统的有效性。
ByteTrack论文阅读笔记
weixin_47365232的博客
07-03 844
（1）检测分数较低的目标，例如被遮挡的目标，会被简单丢弃。本文提出一种简单、有效且通用的关联方法，通过几乎关联每个检测框而不是仅关联高分检测框来进行跟踪。（2）对于低分检测框，利用它们与轨迹的相似度来恢复真值目标，并过滤掉背景检测。
【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time
weixin_57974242的博客
07-05 155
我们设计并训练了一个具有表现力和可分离特征的面部潜在学习框架，该框架基于真实面部视频。然后，我们训练一个简单但功能强大的扩散变换器，用于建模运动分布，并在测试时根据音频和其他条件生成运动潜在编码。不直接生成视频帧，而是在潜在空间中生成整体面部动态和头部运动，条件是音频和其他信号。给定这些运动潜在编码，通过面部解码器生成视频帧，还接受从输入图像中提取的外观和身份特征作为输入。构建了一个面部潜在空间并训练面部编码器和解码器。
Continual Test-Time Domain Adaptation--论文笔记
dezwb的博客
07-03 942
TTA的目的是在不使用任何源数据的情况下，将源预先训练的模型适应到目标域。现有的工作主要考虑目标域是静态的情况。然而，现实世界的机器感知系统运行在非静态和不断变化的环境中，其中目标域分布可能会随着时间的推移而变化。现有的方法大多基于自训练和熵正则化，可能会受到这些非平稳环境的影响。由于目标域中的分布随时间移动，伪标签变得不可靠。嘈杂的伪标签会进一步导致错误累积和灾难性的遗忘。为了解决这些问题，
Robust Test-Time Adaptation in Dynamic Scenarios--论文阅读
dezwb的博客
07-03 888
测试时间自适应(TTA)旨在使预先7训练的模型适用于仅具有未标记测试数据流的测试分布。大多数以前的TTA方法已经在简单的测试数据流上取得了很大的成功，例如来自单个或多个分布的独立采样数据。然而，在自动驾驶等现实世界应用的动态场景中，这些尝试可能会失败，其中环境逐渐变化，测试数据随着时间的推移进行相关采样。在这项工作中，我们探索了这样的实际测试数据流来动态部署该模型，即实际测试时间适应(PTTA)。为此，针对PTTA中复杂的数据流，提出了一种健壮的测试时间适配(ROTTA)方法。
[论文笔记] pai-megatron-patch Qwen2-72B-CT 后预训练 踩坑记录
心宝的博客
07-03 623
经过以下修改，Qwen2-72B-CT可以正常训练，并且benchmark指标和loss正常。
Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method--论文笔记
dezwb的博客
07-06 199
本文提出了一种简单有效的深度神经网络半监督学习方法。基本上，所提出的网络是以有监督的方式同时使用标记数据和未标记数据来训练的。对于未标记的数据，只要选取具有最大预测概率的类别，就可以使用伪标签，就好像它们是真标签一样。这实际上等同于熵正则化。它支持类之间的低密度分离，这是半监督学习通常假设的先验条件。在MNIST手写数字数据集上，利用去噪自动编码器和丢弃，这种简单的方法在标签数据非常少的情况下优于传统的半监督学习方法。如果没时间挨个推导，至少要大概指导他讲什么。
Mean teacher are better role models-论文笔记
dezwb的博客
07-05 719
最近提出的Temporal Ensembling方法在几个半监督学习基准中取得了最先进的结果。它维护每个训练样本的标签预测的指数移动平均，并惩罚与该目标不一致的预测。然而，由于每个目标只改变一次，所以在学习数据量较大数据集时，Temporal Ensembling变得很笨拙。为了克服这个问题，我们提出了Mean Teacher，一种平均模型权重而不是标签预测的方法。作为一个额外的好处，Means Teacher提高了测试的准确性，并允许使用比Temporal Ensembling更少的标签进行训练。
论文阅读：Large Language Models for Education: A Survey
CSPhD-winston的博客
07-08 322
论文由Hanyi Xu、Wensheng Gan、Zhenlian Qi、Jiayang Wu和Philip S. Yu撰写的，是关于大型语言模型（LLMs）在教育领域应用的综合调查研究。
【论文阅读】LLM+3D (1)
三木今天学习了嘛の博客
07-05 1022
1）利用3DSG的层次性质，允许LLMs通过语义搜索从完整图的较小、压缩表示中寻找与任务相关的子图；2）通过集成经典路径规划器来缩短LLM的规划范围；3）引入一个迭代重规划流程，利用场景图模拟器的反馈来细化初始计划，纠正不可行的动作，避免规划失败。SHAPELLM 架构：SHAPELLM 结合了一个预训练的3D编码器和一个大型语言模型（LLM），用于有效的3D表示学习和理解。特别是，采用了 LLaMA 作为其 LLM，并提出了一个名为 RECON++ 的新型3D模型作为3D编码器。
YOLO-World实时开集检测论文阅读
Jeremy_lf的博客
07-08 693
我们介绍了YOLO World，这是一种创新的方法，通过在大规模数据集上进行视觉语言建模和预训练，增强YOLO的开放词汇检测能力。具体而言，我们提出了一种新的可重新参数化的视觉-语言路径聚合网络（RepVL-PAN）和区域文本对比损失，以促进视觉和语言信息之间的交互。我们的方法可以以zero-shot方式高效检测各种物体。YOLO World遵循标准YOLO架构[20]，并利用预先训练的CLIP[39]文本编码器对输入文本进行编码。
论文阅读：A Survey on Evaluation of Large Language Models
最新发布
CSPhD-winston的博客
07-08 167
大型语言模型（LLMs）在学术界和工业界越来越受欢迎，因为它们在各种应用中的卓越性能。随着LLMs在研究和日常使用中的持续重要性，它们的评估变得日益关键，不仅在任务层面，也在社会层面，以便更好地理解它们的潜在风险。本文全面回顾了LLMs的评估方法，聚焦于三个关键维度：评估什么、在哪里评估、如何评估。基于本综述的分析，作者提出了对现有评估方法的见解，并对未来的研究方向提出了建议。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值