Rich Human Feedback for Text-to-Image Generation 读论文笔记

最新推荐文章于 2024-07-25 23:03:48 发布
最新推荐文章于 2024-07-25 23:03:48 发布
阅读量1.3k 收藏 25
点赞数 23
分类专栏： 读论文 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47183165/article/details/139854391
版权

Rich Human Feedback for Text-to-Image Generation 读论文笔记

摘要

Motivation：探索如何优化如Stable Diffusion T2I生成模型的优化问题，因为这些模型都会有诸如伪影，与文字描述不匹配和美学质量低等问题。本文参考大语言模型强化学习的方式，训练奖励模型来改进生成模型。

Contribusion：在收集的数据集（RichHF18K）收集feedback，通过选择高质量的训练数据和改进来生成模型，或者使用预测的heatmap来创建掩码，修复有问题的区域。

  • Rich Human Feedback dataset
  • 一个多模态Transformer模型对生成的图像进行丰富的反馈预测
  • improve method：方式：1. 标记有问题的图像区域 2.标记文本描述不匹配的prompt（被误报或漏报）3. 使用预测的分数来帮助微调图像生成模型

方法细节

收集数据的过程

RichHF-18K数据集：
每个图片包含的标注和分数：

  • 图像高度的1 / 20为半径标记伪影和错位标注（两个heatmap，implausibility and misalignment heatmap）。
  • 没有对齐的关键词的标注
  • 四个细粒度的分数（合理性、一致性、美观性、总体评分）
    在这里插入图片描述

人类反馈确认

每个图像-文本对由三个标注员进行注释，所以对于分数直接做平均，文字对齐标注采取多数原则，点标注使用每个点区域的平均值（每个点被转换为热图上的一个磁盘区域，然后计算三个热图之间的平均热图）

数据集

在Pick-a-Pic dataset数据集选取的子集。选取的部分是照片等级的图像。为了平衡类别，使用PaLI visual question answering (VQA) model从Pick - a - Pic数据样本中提取一些基本特征。

VQA

是一种用于能够结合大语言模型和图像理解技术的多模态模型。

使用方法

输入问题：

  1. 图像有真实感吗
  2. 那个类别最能描述图像？在"人"、“动物”、“物”、“室内场景”、"室外场景"中任选其一

18K的数据集，16K作为训练集，1K作为验证，1K作为测试。

数据分析

分数统计

s − s min s max − s min = s − 1 5 − 1 \frac{s - s_{\text{min}}}{s_{\text{max}} - s_{\text{min}}} = \frac{s - 1}{5 - 1} smax​−smin​s−smin​​=5−1s−1​
得到的分布如下：
在这里插入图片描述
基本符合高斯分布

评价一致性（pair alignment）

maxdiff = max ⁡ ( scores ) − min ⁡ ( scores ) \text{maxdiff} = \max(\text{scores}) - \min(\text{scores}) maxdiff=max(scores)−min(scores)

在这里插入图片描述

实验

模型

模型架构

在这里插入图片描述
这个架构中有两个计算流，分别关注视觉和文本的部分，使用的架构分别是VIT和T5X。

文本信息通过对齐程度和heatmap传递给图像token，视觉信息传递给文本token用于视觉感知。使用WebLi预训练模型。

  1. 生成的图像输入ViT，然后在输出的地方成为高级表征，text则是嵌入成dense向量。
  2. 将两种token经过T5X的自注意力级联编码
  3. 编码后使用三种预测器来预测不同的输出。
typeoperate
heatmap输入：图像token 经过卷积反卷积和sigmoid 输出：不可信和heatmap
score输入：feature map 经过卷积，线性和sigmoid 输出：细粒度scores
misalignment输入：原始caption，target：修改的caption 使用T5X的解码器，不对齐的用后缀0表示，e.g.：如果生成的图像中包含黑猫，且黄色单词与图像不对齐，则为黄色0猫。

模型变体

  1. Multi-head 每个评分，heat map和misalignment有一个头对应，共七个
  2. 对每个预测类型使用单个头，即总共3个头，分别用于热图、得分和misalignment。
    在实验中，第二种方法具体操作是：增加能够让模型判断输出类型的prompt，比如如 “implausibility heatmap”，这样能够明确任务类型。通过将这种prompt与相应的任务进行结合，单个热图(得分)头就可以预测不同的热图(得分)。能够在有些任务中得到比第一种更好的结果。

模型其他优化

损失函数是热图MSE损失、评分MSE和序列CE的加权组合。

实验

针对三种标注和打分的方法：

Metrics

Score

使用的系数：Pearson线性相关系数（PLCC）和斯皮尔曼等级相关系数（SRCC）。PLCC测量预测和真实分数之间的线性相关性，表明预测以线性方式近似实际分数的程度。SRCC测量预测和实际分数之间的关系可以使用单调函数来描述，重点是排名顺序而不是确切值。

Heatmap

标准的显着性热图评估指标，如归一化扫描路径显着性（NSS），Kullback-Leibler发散（KLD）

Misalignment

Token-level precision, recall, 和 F1-score.精度测量预测的未对齐关键字的准确性（即，正确的预测关键字的比例），查全率测量完整性（即，被正确预测的实际未对齐关键字的比例），而F1-score通过计算它们的调和平均值来提供精确度和召回率之间的平衡。

量化结果

Score

在这里插入图片描述

Heatmap

在这里插入图片描述
在这里插入图片描述

Misalignment

在这里插入图片描述

表1和表3中变体都超过了ResNet50，表2中多头版本不如resnet50，但是三头版本优于resnet50。
作者在这里预测的原因是：可能在多头版本中，所有7个预测任务都使用相同的prompt（相对于3头版本），因此所有任务的特征图和文本标记都是相同的。在这些任务之间找到一个好的折衷可能并不容易，因此一些任务如伪影/不可信热图的性能会变得更差。
注意到misalignment heat map预测通常比伪影heatmap预测的结果更差，这可能是因为错配区域的定义较少，因此注释可能更嘈杂。

定性分析

在这里插入图片描述
在这里插入图片描述

从反馈中学习

研究从这些反馈中能不能学到知识用于改善图像生成。
使用基于遮蔽变换器架构的Muse模型作为改进的目标。

首先，我们使用预训练的Muse模型为12,564个prompt（通过PaLM 2生成的提示集）生成了八张图像。我们为每张图像预测RAHF分数，如果每个提示生成的图像中最高分超过一个固定阈值，它将被选为我们微调数据集的一部分。然后，Muse模型与这个数据集一起进行微调。前后对比：在这里插入图片描述
量化Muse微调的收益：作者使用100个新提示生成图像，并请6名注释者进行两张图像的并排比较，这两张图像分别来自原始的Muse和微调后的Muse。注释者在不知道哪个模型用于生成图像A/B的情况下，从五种可能的反应中选择（图像A明显/稍微好于图像B，大致相同，图像B稍微/明显好于图像A）。表5的结果显示，与原始Muse相比，经过RAHF可信度分数微调的Muse具有显著更少的人工痕迹/不可信之处。
在这里插入图片描述
展示了一个使用RAHF审美分数作为分类器指导对潜在扩散模型的示例
在这里插入图片描述
对于每张图像，首先预测不可信度heatmap，然后通过处理heatmap（使用阈值和扩张）创建一个掩码。在掩码区域内应用Muse修复，生成与文本提示相匹配的新图像。生成多张图像，最终图像由我们的RAHF预测的最高可信度分数选择。

在这里插入图片描述
总结来说就是使用训练的模型来判断生成模型中不合理的地方，并使用掩码模型做遮蔽处理，好让模型重新生成有问题的部位，类似图像编辑的内容。

hero poi
关注
  • 23
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
51-61 CVPR 2024 最佳论文 | Rich Human Feedback for Text-to-Image Generation
AIgraphX
06-26 1098
受大模型中RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型，提出了先进的RichHF-18K数据集和多模态RAHF模型。
CVPR最佳论文被生成式AI占领，清华武大华南农大上科校友获奖
量子位
06-20 911
梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAICVPR 2024最佳论文奖新鲜出炉，生成式AI成最大赢家！一篇是Rich Human Feedback for Text-to-Image Generation，受大模型中的RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型。这项研究来自UCSD、谷歌等，共同一作华南农业大学校友Youwei Liang、清华...
AIGC-CVPR2024best paper-Rich Human Feedback for Text-to-Image Generation-论文精读
hflexxx的博客！喜欢的话点个关注！
06-21 1138
Rich Human Feedback for Text-to-Image Generation斩获CVPR2024最佳论文！受大模型中的RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型。这项研究来自UCSD、谷歌等。在本文中，作者通过标记不可信或与文本不对齐的图像区域，以及注释文本提示中的哪些单词在图像上被歪曲或丢失来丰富反馈信号。在 18K 生成图像 (RichHF18K) 上收集如此丰富的人类反馈，并训练多模态转换器来自动预测丰富的反馈。
Anthropic首推Artifacts，用户可编辑生成内容；顶会 CVPR 2024 最佳论文公布 | AI头条...
AI科技大本营
06-21 281
整理 | 王轶群出品 | AI 科技大本营（ID：rgznai100）一分钟速览新闻点！Anthropic 发布最强模型 Claude 3.5 SonnetAnthropic 首次推出 Artifacts，让用户可以查看、编辑和构建由 Claude 生成的内容国际计算机视觉顶会 CVPR 2024 最佳论文公布，皆与生成式 AI 相关数据显示谷歌已降低 Reddit 对 AI 搜索结果的影响消息称...
【论文笔记】ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation
xhyu61的博客
05-18 1065
被遗弃的孤儿、受诅咒的少女、人偶一族的末裔……取决于对方喜欢哪个版本吧，我都可以编~ ——《崩坏：星穹铁道》花火
Content-Rich Text-to-Image Generation.pdf
07-11
本论文适用于以下专业读者： 计算机视觉和机器学习领域的研究人员和学者。 对生成对抗网络（GANs）在视频生成任务上的应用感兴趣的工程师和开发者。 探索深度学习在视频处理和动作识别中应用的数据科学家。 ...
rich-text-to-jsx::page_facing_up:内容丰富的RTF文本字段类型的带有JSX渲染器
04-28
rich-text-to-jsx受到markdown-to-jsx 。 值得注意的是，此软件包具有以下优点： 编译器提供的任何HTML标记（对应于节点类型）都可以被覆盖，以包括其他道具甚至完全是一个不同的React组件。 嵌入式条目和资产可以...
contentful-rich-text-vue-renderer:使用Vue渲染内容丰富的RTF字段
05-08
npm install contentful-rich-text-vue-renderer 使用： yarn add contentful-rich-text-vue-renderer 用法 < script > import RichTextRenderer from 'contentful-rich-text-vue-renderer' ; const ...
kontent-rich-text-for-vue:用于在Vue中从Kentico Konent呈现富文本值的组件
05-15
在Vue中从Kentico Kontent渲染富文本该软件包替换了resolveHtml 提供的resolveHtml方法，以显示富文本元素的值。 允许您使用编写内容，您可以在其中进行各种格式...安装从npm拿起包裹： npm install kontent-rich-tex
小程序rich-text组件如何改变内部img图片样式的方法
10-16
主要介绍了小程序rich-text组件如何改变内部img图片样式的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
《Dynamic Statistical Learning in Massive Datastreams》论文阅读笔记
Keep_Calm_的博客
07-24 545
动态跟踪和筛选框架（DTS）：论文提出了一个在线学习和模型更新的新框架，称为动态跟踪和筛选（DTS）。这个框架能够处理数据流中的动态变化，实时更新统计模型和推断结果。线性变化系数模型：在数据流的分析中，论文采用了一种特殊的统计模型，称为线性变化系数模型。这个模型允许研究者
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1099
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
Weakly Supervised Contrastive Learning 论文阅读
weixin_44609958的博客
07-25 744
无监督视觉表示学习因对比学习的最新成就而受到计算机视觉领域的广泛关注。现有的大多数对比学习框架采用实例区分作为预设任务，将每个实例视为一个不同的类。然而，这种方法不可避免地会导致类别冲突问题，从而损害所学习表示的质量。
论文阅读：Deep_Generic_Dynamic_Object_Detection_Based_on_Dynamic_Grid_Maps
qq_53589322的博客
07-25 463
相机参考图像显示在顶部，基于深度学习的旋转边界框目标检测结果覆盖在中间的动态网格上，经典的DBSCAN目标检测在最后一行。该文章提出了一种基于动态网格图（Dynamic Grid Maps）的深度通用动态物体检测方法，旨在提高复杂环境中动态物体检测的准确性和效率。本文提出的方法旨在解决这些挑战，提供一种更鲁棒和高效的动态物体检测技术，适用于自动驾驶、机器人导航等领域。本文提出的基于动态网格图的深度学习动态物体检测方法，在多种复杂环境下均表现出色，有效提高了动态物体检测的准确性和鲁棒性。
LLaVA论文阅读+Colab部署
Czi.的博客
07-22 848
将大型语言模型（LLMs）通过机器生成的指令跟随数据进行指令调优已被证明可以提高其在新任务上的零样本能力，但这一理念在多模态领域探索较少。我们首次尝试使用仅语言的GPT-4生成多模态语言-图像指令跟随数据。通过对这种生成的数据进行指令调优，我们引入了LLaVA：大语言与视觉助手，一个端到端训练的大型多模态模型，它连接了视觉编码器和LLM，用于通用的视觉和语言理解。为了促进未来关于视觉指令跟随的研究，我们构建了两个包含多样且具有挑战性的应用导向任务的评估基准。我们的实验表明，
论文阅读【检测】：商汤 ICLR2021 | Deformable DETR
最新发布
qq_17614495的博客
07-25 720
DETR消除对目标检测中许多手工设计的组件的需求，同时表现出良好的性能。然而，由于Transformer注意模块在处理图像特征映射方面的局限性，它收敛速度慢特征空间分辨率有限。为了缓解这些问题，提出了 Deformable DETR，其注意力模块只关注参考周围的一小组关键采样点。可变形 DETR 可以比 DETR（尤其是在小物体上）获得更好的性能，训练时间减少了 10 倍。代码。
论文阅读：面向自动驾驶场景的多目标点云检测算法
qq_53589322的博客
07-25 509
论文地址：面向自动驾驶场景的多目标点云检测算法点云在自动驾驶系统中的三维目标检测是关键技术之一。目前主流的基于体素的无锚框检测算法通常采用复杂的二阶段修正模块，虽然在算法性能上有所提升，但往往伴随着较大的延迟。单阶段无锚框点云检测算法简化了检测流程，但其性能难以满足自动驾驶场景的高要求。本文基于无锚框检测算法CenterPoint，提出了一种适用于自动驾驶场景的单阶段无锚框点云目标检测算法。技术创新自动驾驶系统中，基于点云的三维目标检测是至关重要的技术之一。组成部分：优化和改进：扩展功能：这些优化和改进措施
论文阅读【检测】：Facebook ECCV2020 | DETR
qq_17614495的博客
07-24 378
提出了一种将目标检测视为直接集预测问题的新方法。简化了检测pipeline，有效地消除了许多手工设计的组件的需求，例如非最大抑制过程或锚生成，这些组件明确地编码了任务的先验知识。新框架的主要成分，是基于集合的全局损失，它通过二部匹配强制唯一的预测，以及变transformer encoder-decoder架构。给定一组固定的学习对象查询，DETR 推理对象和全局图像上下文的关系，以并行直接输出最终的预测集。
rich-text nvue
08-25
在uni-app中，nvue页面展示富文本内容可以使用`<rich-text>`组件。但需要注意的是，H5端可以正常显示，但真机调试时可能出现不显示的情况。如果将文件换成vue文件，则可以正常展示。用法如下： ```vue <template> <view class="u-content"> <rich-text :nodes="content" style="font-size: 14px;"></rich-text> </view> </template> <script> import htmlParser from '../../common/html-parser' export default { data() { return { content: [] } }, onLoad() { this.initText(); }, methods: { initText() { // 请求回来后的参数，此处模拟一下 const arr = ` <div style="text-align:center;"> <p>露从今夜白，月是故乡明</p> <img src="https://cdn.uviewui.com/uview/swiper/2.jpg" style="width:550upx;height: 220upx" /> </div> `; this.content = htmlParser(arr); } } } </script> ``` 在nvue页面中，使用`<rich-text>`组件展示富文本时需要将内容传递给`nodes`属性，并使用`htmlParser`进行解析。因为nvue不支持直接渲染富文本内容。所以需要先将富文本内容转换为节点数组，然后通过`<rich-text>`组件进行渲染。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [uni-app富文本渲染方案rich-text、uparse、v-html简单解析](https://blog.csdn.net/u012767761/article/details/127282124)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [在nvue中富文本rich-text不显示和图片不显示的解决](https://blog.csdn.net/weixin_45979310/article/details/122997535)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值