[ACM MM 2024] AesExpert 面向图像审美知觉的多模态基础模型

最新推荐文章于 2025-05-08 10:04:30 发布
最新推荐文章于 2025-05-08 10:04:30 发布
阅读量1k 收藏 7
点赞数 15
分类专栏： Large Model Multi-modal 文章标签： 大模型 多模态 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014546828/article/details/140996403
版权

AesExpert: Towards Multi-modality Foundation Model for Image Aesthetics Perception

GitHub

(arxiv.org)

动机

1. 要解决的问题

  • 图像美学感知的高度抽象性：图像美学感知（IAP）的高度抽象性对当前的多模态大语言模型（MLLMs）提出了重大挑战。这些模型在理解图像的美学质量、属性（如颜色、光线、构图）、情感表达等方面存在显著不足。
  • 缺乏标注的多模态美学数据：缺乏经过人类标注的多模态美学数据进一步加剧了MLLMs在美学感知能力上的不足。
  • MLLMs在美学任务上的局限性：尽管MLLMs在一般性的视觉和语言理解任务上取得了显著进展，但在高度抽象的图像美学感知任务上仍存在明显局限，包括图像美学评估（IAA）、细粒度美学属性评价、美学情感分析及图像美学描述等。
  • 实际应用需求
最低0.47元/天 解锁文章
ACM MM 2024中有哪些值得关注的Diffusion Models相关的论文？
沉迷单车的追风少年
09-30 1437
ACM MM 2024作为多模态领域的顶级会议，已经放出所有接受的论文。这次的MM又是Diffusion Models的盛会，非常多值得关注的最新论文，这篇博客将一一介绍。
ACMMM 2024 ACM International Conference on Multimedia
热门推荐
HelloWorld的博客
12-11 2万+
这个领域呼吁提出新的、创新的解决方案，能够将多媒体数据组合、链接、编辑和总结成简洁但富有见地、愉悦且多视角的呈现形式，以促进多媒体分析、决策制定、搜索和浏览等任务。话题包括（i）用于访问、创作和消费多媒体数据的新颖交互技术和模式，（ii）设计和实施新颖的互动媒体，（iii）理解和/或衡量多媒体体验质量的新方法、模型和度量标准。该领域的论文应解决与数据管理和索引相关的性能问题，以支持大规模的多媒体访问，包括浏览、搜索、推荐、分析、处理和挖掘。话题包括支持多媒体访问和分析的可扩展系统和索引技术。
⭐⭐MLLM Tutorial⭐⭐——多模态大语言模型最新教程（已完结）
a131529的博客
12-09 1691
MLLM Tutorial——多模态大语言模型最新教程：从多模态大语言模型到人类水平的人工智能：模态、指令、推理及未来展望
ACM MM 2024论文投稿模板
wuli_xin的博客
02-06 1万+
Overleaf 平台上的模板都是单栏的，给的Word版本是双栏的，建议使用第一种方式。图片中红色框出的是模板里自带的，官网没有对此的明确说明，但大家是默认删除。进行修改，如图为原始生成的PDF。会议一般都是双盲审。这个注释打开，并修改为自己注册的号码。的DOI信息记得摘要截止提交后修改。此时就是基础匿名版本，如下图所示。删除2，在tex添加以下语句。祝新的一年，多发paper，点，添加以下代码，即可删除。基本投稿的模板就准备好了。
多模态大模型的发展、挑战与应用
renwu
04-16 1万+
随着 AlexNet [1] 的出现，过去十年里深度学习得到了快速的发展，而卷积神经网络也从 AlexNet 逐步发展到了 VGG [2]、ResNet [3]、DenseNet [4]、HRNet [5] 等更深的网络结构。研究者们发现，网络越深模型的性能越好。然而，经过多年的发展，研究者们逐渐触碰到了卷积神经网络的极限，而其规模也只发展到了千万到亿的数量级，例如 ResNet-152 的参数量大约为 60 Million (M)，HRNet_W64 大约为 128M。
[ACM MM 2024] Wave-Mamba：超高清暗光图像增强的小波状态空间模型
u014546828的博客
08-05 1707
相比之下，小波变换不仅可以实现无损下采样，还可以分离图像内容和噪声，在建模长序列时避免受到噪声干扰，并充分利用状态空间模型的优势。Wave-Mamba是一种用于增强超高清低光照图像的新模型，它引入了低频状态空间块和高频增强块，并取得了领先水平的性能。为了有效地建模超高清图像的全局内容信息，本文改进了SSM并引入了LFSSBlock来恢复低频子带信息。3）此外，提出HFEBlock来校正并恢复正确的高频细节，并通过综合评估证明该方法在保持简洁架构的同时显著优于当前领先技术。
论文分享|ACMMM2024‘北航|利用大模型扩充正负例提升组合图像检索的对比学习性能
weixin_45783724的博客
08-13 1727
博主的第一篇一作论文：如何利用LLM的助力在组合图像检索任务达到sota
社交媒体预测挑战赛，ACM MM SMP Challenge 2024
jiawang169的博客
04-19 2127
社交媒体预测挑战赛，ACM MM SMP Challenge 2023 竞赛开始啦！
ACM MM2024 | 网易伏羲多模态研究再获国际认可，推动特定领域跨模态理解新突破
weixin_42381549的博客
08-06 1024
作为国内领先的人工智能研究机构，网易伏羲在大规模模型研究领域已有近六年的深厚积累，具备丰富的算法和工程经验，先后打造了数十个文本和多模态预训练模型，包括文本理解和生成大模型，图文理解大模型，图文生成大模型等。在特定领域内，图像之间可能展现出高度的视觉相似性，而语义差异则往往集中在关键的局部细节上，例如图像中的特定对象区域或文本中含义丰富的词汇。，这些方法有效地利用了具有判别性的细粒度局部信息，从而显著提升了图像与文本在共享空间中的对齐质量，广泛和充分的实验证明了所提出策略的先进性和有效性。
『MaxKB业务实战（四）』在MaxKB中实现图片问答
老陈聊架构
05-07 1430
本文详细介绍了在MaxKB中实现图片问答功能的完整流程，包括图片上传、存储、展示以及AI返回图片回答的步骤。AI应用通过关联知识库，能够返回图片回答，提升用户体验。此外，文章还介绍了如何创建高级编排应用并设置图片上传参数，以便后续接入图片大模型进行识别。
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 2030
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 610
【代码】基于对应点分类的对象识别 报错。
基于MATLAB图像中的圆形目标识别和标记
xrgs_shz的博客
05-05 1028
这个公式的来源是，对于圆来说，这个值等于1，因为圆的周长P=2πr，面积A=πr²，代入得4π*(πr²)/(4π²r²)=1。例如，正方形的面积是a²，周长是4a，所以圆度为4πa²/(4a)^2 =4πa²/(16a²)=π/4≈0.7854。'y', 'FontSize',14,'FontWeight','bold') %在边界左侧显示圆度。
《目标检测项目总结》
最新发布
2502_90678230的博客
05-08 621
典型算法：- R-CNN（Region-based Convolutional Neural Networks）- Fast R-CNN- Faster R-CNN- Cascade R-CNN2. One stage算法定义：One stage算法将目标检测任务作为一个端到端的任务，直接在输入图像上预测目标的类别和位置，无需显式生成候选区域。COCO数据集的优势和劣势：优势：1. 规模庞大：包含20万个图像和80个类别，标注目标超过50万个，适合训练复杂的目标检测模型。解决COCO数据集标注复杂的问题，
Qwen3 混合思维模版解读
qq128252的博客
05-07 971
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
weixin_52582710的博客
05-05 1866
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
Deepseek基础-api key申请及应用(java)、硅基流动api key申请及应用(dify)
简单记录
05-05 1139
要识别的车票和发票图片。
大学之大：杜伦大学2025.5.4
sinat_34897952的博客
05-04 849
杜伦大学以其千年历史底蕴与现代创新精神，在保持学院制传统的同时，积极应对全球挑战。其优势学科覆盖人文、科学与商科，科研实力位居世界前列。未来，杜伦将继续深化可持续发展与数字化教育，巩固其作为全球顶尖研究型大学的地位，为学生提供兼具学术深度与实践价值的教育体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值