文生图模型评测之PickScore

已于 2023-11-09 21:41:23 修改
阅读量1.4k 收藏
点赞数
分类专栏： AI算法 文章标签： AIGC 人工智能 stable diffusion Imagen
于 2023-11-09 21:40:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/orangerfun/article/details/134275052
版权
PickScore是一个基于CLIP的打分模型，用于评估文本到图像生成（文生图）模型的性能。它利用用户在Pick-a-Pic web App中表达的偏好数据进行训练，该数据集包含超过50万个样本。模型可以用于模型选择、构建高质量数据集和改进文生图模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

文章目录

论文链接：Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
代码/数据链接：yuvalkirstain/PickScore
🤗关注微信公众号 funNLPer，分享有用的算法知识🤗

PickScore是一个文生图打分模型，作者在公开模型的同时也公开了他们收集的人类偏好数据集，该模型即可作为文生图模型的评价标准，也可作为类似于RLHF中奖励函数。而对于作者公开的人类偏好数据集则对文生图中RLHF具有重要作用，同时研究者们也可基于该数据集训练打分模型。

1. 简介

从文生图用户中收集大量的人类偏好数据一般只能是大公司才能做到，普通研究者很难收集到这种数据。因此本文制作了一个web应用，用户在该应用上可以使用文生图模型生成各种图片&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
文生图算法评价
liguandong
11-15 1143
文章浏览阅读51次。包括了79.8w个图像对的人工比较注释，在数据集收集过程中，关注潜在的偏差问题，1.偏差来源于图像源，hpdv2包含了9个最新的文本到图像生成模型生成的图像，以及coco captions数据中的真实图像，2.文本提示偏差，用户编写的提示，例如diffusiondb中的提示，通常遵循描述加上几个样式词的组织方式，其中样式词经常包含矛盾之处，让标注着难以理解，使用chatgpt去除样式词并将提示组织成一个明确的句子。我们雇佣了57个人来标注数据，其中50人负责图像排序，7负责质量控制。
文生图模型测评之HPS v2
orangerfun的博客
11-12 661
文生图模型测评 HPS
目前最强的文生图模型？！FLUX完全解读！附体验地址
hunteritself的博客
08-12 1万+
目前最强的文生图模型？！FLUX完全解读！附体验地址
AI文生图网站测评
Zaralike的博客
02-23 903
请生成一个文章内容配图，图片比例是3：2，文章主旨是AI既是机遇，也存在挑战和风险，要求图片风格是科技、互联网、AI相关，可以有关键词：AI，图片元素可以有互联网、电脑、科技等相关元素，整体颜色可以偏深蓝色。提示 更换输入，限制较为严格，修改后依然无法通过，没法使用，pass。输入提示词，直接跳转充值会员页面，pass~
PickScore 开源项目教程
gitblog_00028的博客
08-18 452
PickScore 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/pi/PickScore 项目介绍 PickScore 是一个用于评估文本生成图像质量的模型。该项目基于 CLIP 模型，通过训练一个评分函数来预测用户对生成图像的偏好。PickScore 能够帮助开发者在文本到图像生成任务中选择最佳的生成图像，从而提高生成模型的性能。 项目快速启动 安装依赖...
【文生图系列】文生图大模型合集与效果对比
热门推荐
陶将的博客
07-06 2万+
本篇博文粗略了介绍了OpenAI的DALL E系列，百度的ERNIE-ViLG系列，google的Imagen，MidJourney，Stable Diffusion，智源研究院的AltDiffusion，英伟达的eDiff-I和阿里的通义文生图大模型，并进行了效果对比。
如何自动化地评估 AIGC 生图的质量？
2401_84033492的博客
06-05 2034
在AIGC生图过程中，进行图像质量的自动化评估，能快速进行打分、节省人工成本，更准确的进行模型效果比较，以促进模型迭代。对于特定场景的自动化评估，则需要建立对应的评估体系，包括评分准则、特定数据集、打分模型。我们团队正在进行家装行业AIGC的相关研发，以提高家装AI模型的效果。我们希望与对此方向感兴趣的同学一起探讨和交流。参考文献。
（3-5）文生图模型架构：扩散模型
码农三叔
08-14 912
例如下面是一个使用扩散模型生成图像的简单例子，使用了预训练的扩散模型Stable Diffusion来生成指定文本描述的图像。扩散模型与其他生成模型比较如表3-1所示，这个表格对比了四种不同的生成模型，突出了它们在原理、速度、图像质量、训练稳定性、多样性、计算复杂度和适用场景方面的差异。扩散模型是一种基于随机过程的生成模型，通过逐步添加和去除噪声，实现从随机噪声到高质量数据的转化，其独特的训练和生成机制使其在图像生成领域表现出色。神经网络的目标是预测在每个步骤中添加的噪声，从而使模型能够生成高质量的图像。
（3-1）文生图模型架构：架构介绍
码农三叔
08-12 634
文生图模型的基本思想是通过文本编码器将语言信息转换为语义向量，再由图像生成器生成对应的图像。1. Text Input：文本输入文生图模型的第一步是接收文本输入，这可以是任何形式的自然语言描述，如一句话、一段话或一系列关键词。文本输入为整个生成过程提供了基础信息，这些信息将被后续的模块逐步处理和转换。2. Text Encoder：文本编码器文本编码器的主要任务是将输入的文本转换为语义向量，常用的文本编码器包括Transformer、BERT、GPT等模型。
(1-3)文生图大模型基础：文生图大模型的技术发展历程
码农三叔
08-09 827
生成的图像往往质量不高，缺乏真实感和多样性。早期的文生图模型主要依赖于传统的机器学习技术和基于规则的系统，这些模型的设计思路较为简单，通常使用预定义的规则和手工提取的特征来进行图像生成。尽管这些早期模型为文生图技术的发展奠定了基础，但它们在实际应用中面临诸多挑战，促使研究者们不断探索新的方法和技术，以提升文生图模型的生成能力和应用范围。近年来，随着计算能力的提升和大规模数据集的可用性，文生图大模型在生成质量、速度和多样性等方面不断进步，广泛应用于广告、艺术创作、游戏设计等多个领域，推动了创意产业的变革。
大模型评估指标
xiaod12138的博客
09-11 825
未完待续。
【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法
科技很有意思
12-08 1625
我们提出一个自动化收集prompt优化的数据集方案：原始数据源是DiffusionDB，它只包含未配对的提示。启发式地，我们根据提示的长度、提示中包含的某些标签等将提示分为低质量提示和高质量提示。接下来，我们i)使用BLIP 对与高质量提示相关的图像进行caption，并将结果视为相应的低质量提示，因为说明文字较短且缺乏细节;ii)使用ChatGPT对高质量的提示进行总结，并将总结视为低质量的提示;iii)使用ChatGPT从低质量的提示生成更好的提示;结果被认为是高质量的提示。
Pick-a-Pic:An open dataset of user preferences for text-to-image generation
liguandong
04-25 696
一共收集了968965个排名，这些排名源自66798个提示和6394个用户，Pick-a-Pic数据集包括583747个训练示例，以及500个验证和测试示例，训练集来自4375个不同用户的37523个提示。1.创建了一个 数据集，每个示例包括一个提示，两个生成的图像以及一个指向首选图像的标签，或者在没有一个图像明显优于另一个时标记为平局。训练，在pick-a-pic训练集上微调clip-H，训练4000不，学习率为3e-6，批处理大小为128，8个a100不到一小时处理完。
51-61 CVPR 2024 最佳论文 | Rich Human Feedback for Text-to-Image Generation
AIgraphX
06-26 1827
受大模型中RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型，提出了先进的RichHF-18K数据集和多模态RAHF模型。
文生图微调数据集介绍
weixin_44916682的博客
03-18 1095
数据集
文本生成图像工作简述2--常用数据集分析与汇总
白洞，白色的明天在等着我们
11-23 1万+
文本生成图像（text-to-image）可以根据给定文本生成符合描述的真实图像，其是多模态机器学习的任务之一，具有巨大的应用潜力，如视觉推理、图像编辑、视频游戏、动画制作和计算机辅助设计。 本篇将简述文本生成图像的数据集，汇总介绍数据集的内容、特点、细节和下载方式等。
图像生成指标
qq_45670134的博客
03-19 1027
5种图像生成指标的介绍
什么样才算好图——从生图模型质量度量方法看模型能力的发展
淘系技术
02-28 3122
本文总结了近10年来的生图模型论文中用到的评价指标，并尝试解答两个问题不同时期的评价标准都有哪些特点？图片质量的评价如何辅助模型的迭代？前言随着各种文生图模型逐渐从toy project进入到生产链路，在线上实际落地并产生业务价值，同时自研/来源模型也进入了快速迭代的阶段。一套直指问题、综合拓展性和复用性的评价指标变得尤为宝贵，从效果上来讲，如果说数据质量决定了模型效果的上限，那么指标的好坏直接决...
【多模态LLM】多模态理解评测标准（图生文）
发现问题，并解决问题，批判性思维
08-03 2186
# note - 评测图片识别、理解、分析、推理能力；评测多轮对话；扩大评测场景（日常生活、教育娱乐等） - SuperClue-V采用6个标准，即正确性、相关性、流畅性、知识延伸、输出样式多样化、多感官信息融合，来定量的评价模型在所构建的指标下的表现能力，其中正确性、相关性、流畅性这三个指标设置为基础等级，旨在区分头部模型与一般模型的能力，而知识延伸、输出样式多样化、多感官信息融合这三个指标设置为扩展等级，旨在进一步区分头部模型之间的能力 @[toc] # 一、图生文LLM评测标准 文章地址：ww
ERROR: Cannot unpack file C:\Users\0\AppData\Local\Temp\pip-unpack-iamyf8r2\PickScore_v1 (downloaded from C:\Users\0\AppData\Local\Temp\pip-req-build-m598p5ju, content-type: text/html; charset=utf-8); cannot detect archive format ERROR: Cannot determine archive format of C:\Users\0\AppData\Local\Temp\pip-req-build-m598p5ju
最新发布
03-26
<think>好的，我现在要解决用户在pip安装时遇到的无法解压文件的错误，具体是“cannot unpack file archive format issue”。首先，我需要回忆一下常见的导致这个问题的原因以及相应的解决方法。 首先，用户可能在安装某个包时遇到了这个问题。可能的原因包括下载的包文件损坏、网络问题导致下载不完整、或者pip版本过旧不支持某些压缩格式。此外，也有可能是磁盘空间不足，或者文件权限问题导致无法解压。 接下来，我需要一步步分析可能的原因并给出解决方案。首先，建议用户升级pip到最新版本，因为旧版本可能不支持新的压缩格式或修复了相关bug。升级命令通常是`python -m pip install --upgrade pip`。然后，检查网络连接是否稳定，下载是否完整，可以尝试清除缓存重新安装，使用`pip install --no-cache-dir`命令。如果问题依旧，可能需要手动下载whl文件安装，或者更换镜像源，比如豆瓣源，使用`pip install package -i https://pypi.douban.com/simple/`。另外，检查磁盘空间和权限问题，确保安装目录有足够的空间和写入权限。 同时，要确保用户正确引用了相关的参考资料，比如引用中提到的使用豆瓣镜像源的方法，以及pip的入口函数信息。这些引用需要自然地融入到回答中，帮助用户理解解决方案的来源。 最后，生成相关问题，帮助用户进一步排查可能的问题，比如如何更换镜像源、如何手动安装包、如何检查pip版本等。这些相关问题应该覆盖用户可能遇到的其他相关疑问，提升帮助的全面性。</think>### 解决pip安装时无法解压文件的错误 当遇到`pip install`报错`cannot unpack file archive format issue`时，通常与安装包的压缩格式或文件完整性有关。以下是逐步解决方案： --- #### 1. **升级pip版本** 旧版pip可能不支持某些压缩格式或存在解压逻辑问题。升级pip到最新版本： ```bash python -m pip install --upgrade pip ``` 若升级失败，可尝试通过`ensurepip`修复： ```bash python -m ensurepip --upgrade ``` --- #### 2. **清除缓存后重试** 缓存文件损坏可能导致解压失败。强制不使用缓存重新安装： ```bash pip install --no-cache-dir <包名> ``` 或手动清除缓存目录（路径可通过`pip cache dir`查看）后重试。 --- #### 3. **更换镜像源** 某些镜像源可能提供损坏或不完整的包文件。改用国内镜像源（如豆瓣源）： ```bash pip install <包名> -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com ``` 此方法在安装依赖时更稳定[^1]。 --- #### 4. **手动下载并安装包** 直接从PyPI下载`.whl`文件安装： 1. 访问PyPI（https://pypi.org/）搜索目标包。 2. 下载对应系统与Python版本的`.whl`文件。 3. 使用本地路径安装： ```bash pip install /path/to/package.whl ``` --- #### 5. **检查文件系统与权限** - **磁盘空间不足**：确保安装目录有足够空间。 - **权限问题**：在Linux/macOS中使用`sudo`或在Windows中以管理员身份运行命令： ```bash sudo pip install <包名> ``` --- #### 6. **检查网络问题** 网络波动可能导致下载不完整。使用`wget`或浏览器直接下载包文件，验证文件完整性后再手动安装。 --- #### 示例调试步骤 假设安装Django时报错： ```bash # 尝试升级pip python -m pip install --upgrade pip # 使用豆瓣源重新安装 pip install django -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com ``` 若仍失败，可手动下载Django的`.whl`文件并安装[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值