当推荐系统遇上多模态Embedding

最新推荐文章于 2025-02-10 13:48:08 发布
最新推荐文章于 2025-02-10 13:48:08 发布
阅读量318 收藏
点赞数
分类专栏： 论文解读和大咖技术号记录 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37870649/article/details/125986767
版权
知乎微信视频号推荐算法大赛中，引入了结合OCR、ASR、图像和文字的多模态内容理解特征向量，即512维的Feed Embedding。该技术用于理解用户在视频号内的历史行为，以提升推荐的精准性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

AIGC中多模态Embedding技术的前沿进展与代码实战
AI天才研究院
05-13 1248
AIGC中多模态Embedding技术的前沿进展与代码实战 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 AIGC的兴起与多模态技术的必要性 近年来，人工智能生成内容（AI
多模态embedding再突破！创新改进方案盘点
最新发布
2401_88556812的博客
02-18 698
灵活的模型架构：VISTA通过引入视觉标记嵌入，扩展了强大的文本编码器的能力，实现了文本和图像的深度融合。视觉表（Visual Table）：提出了一种新的视觉表示形式，以层次化文本描述构建视觉场景，包含场景描述和多个以对象为中心的描述，涵盖对象类别、属性和知识。多模态语言模型（MLLMs）集成：将生成的视觉表作为视觉表示，集成到多模态语言模型中，用于提升视觉推理任务的性能。对齐复杂视觉场景：视觉表能够捕捉视觉场景中的丰富细节，如对象的属性和知识，从而在复杂的视觉推理任务中表现出色。
一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（上）
百度大脑
04-07 1354
本文章由飞桨星河社区开发者高宏伟贡献。高宏伟，飞桨开发者技术专家（PPDE），飞桨领航团团长，长期在自媒体领域分享AI技术知识，博客粉丝9w+，飞桨星河社区ID为GoAI 。分享分为上下两期，本期分享从多模态概念与意义、任务类型及数据集、发展关系及时间线和基础知识等方面介绍多模态。多模态概念与意义多模态学习（Multimodal learning）是机器学习的一个重要分支。模态（Modality）...
多模态Embedding不愧是CVPR和NIPS的共同选择！这发文思路真的需要好好学习一下！
学姐带你玩AI的博客
11-14 1495
最近，模型的爆火在各个行业引起了广泛关注，改变了机器理解文本和图像的方式，相关应用和学术成果也逐渐增加，目前已有多篇研究被各大顶会录用。比如CVPR 2024的BadCLIP攻击方法，在对抗现有最先进的后门防御技术时成功率提高了45.3%；再比如NIPS的自适应回报条件策略ARP，能够有效减轻目标误泛化问题。这得益于多模态Embedding的诸多优势，它特别是在处理复杂、多维度的数据时表现出色。另外，多模态Embedding的高适应性和灵活性，也让它在满足多样化的需求方面一骑绝尘。
一文读懂多模态 embeddings
2401_85328934的博客
02-10 898
传统上，AI研究被划分为不同的领域：自然语言处理（NLP）、计算机视觉（CV）、机器人学、人机交互（HCI）等。然而，无数实际任务需要整合这些不同的研究领域，例如自动驾驶汽车（CV + 机器人学）、AI代理（NLP + CV + HCI）、个性化学习（NLP + HCI）等。尽管这些领域旨在解决不同的问题并处理不同的数据类型，但它们都共享一个基本过程。即生成现实世界现象的有用数值表示。历史上，这是手工完成的。这意味着研究人员和从业者会利用他们（或其他人）的专业知识，将数据显式转换为更有用的形式。
多模态基础--- word Embedding
weixin_42454048的博客
02-15 1238
原始的单词编码方式：one-hot，维度太大，不同单词之间相互独立，没有远近关系区分。wordclass，将同一类单词编码在一起，此时丢失了类别和类别间的相关信息，比如class1和class3都属于生物word Embedding编码方式：将每个word映射到高维向量上。
多模态文本分类(特征工程embedding)
鲨鱼儿的博客
09-06 472
一、训练TF-idf 1、训练TF-IDF遇到的问题 1.1、stop_word关键词警告信息如下： UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens XXXXXXXX not in stop_words. 原因： ...
推荐系统遇上深度学习(一三七)-[阿里]广告精排和创意优选联合优化
abcdefg90876的博客
07-16 730
今天分享的是阿里在SIGIR2022中稿的一篇短文，主要关注点在于对广告推荐链路中精排阶段和创意优选阶段的优化，一起来看一下。1、背景广告系统中，创意（如标题和图片）包含了丰富的产品信息，能够帮助用户快速了解产品。相同的广告通常情况下有不同的创意，如下图所示，但不同创意的CTR可能有较大的差别，有的用户可能偏好于带促销信息的图片，而有的用户偏好于简明的图片风格。因此基于用...
【多模态】多模态相关的博客总结
qq_36643449的博客
05-22 507
一、理解多模态BERT的两种预训练任务 如何更好的理解多模态BERT的两种预训练任务 二、多模态在工业上的实战应用 1分钟|多模态公司工业级实战文章分享 杨宇鸿：腾讯多模态内容理解技术及应用 KDD Cup 2020多模态召回比赛亚军方案与搜索业务应用 当推荐系统遇上多模态Embedding 三、多模态融合方法 【attention系列】使用attention模块来做多模态融合 最近一些多模态工作的个人理解（三） 多模态数据的表示、融合方法简述 面向深度学习的多模态融合技术研究综
推荐系统遇上深度学习(一一一)-双重样本感知的DIFM模型
abcdefg90876的博客
03-10 1599
上一篇中，我们介绍了样本感知的FM模型，也就是IFM模型。而本文将介绍其改进版本，称为Dual Input-aware Factorization Machine（DIFM），一起来学习下...
一站式解读多模态——Transformer、Embedding、主流模型与通用任务实战（下）
PaddlePaddle
04-09 1727
本篇针对多模态模型展开详述，总结经典模态对齐策略，结合多模态项目进行实战。
深度 | 上亿用户每天看100分钟！基于多模态Embedding及检索的短视频内容理解
BAAIBeijing的博客
07-13 1899
【栏目：前沿进展】短视频早已经深入人心。在快手平台上，目前每个月用户创作并上传的短视频数量已经超过了11亿，这些内容被上传之后会经过内容理解引擎和推荐引擎，最终分发给快手的每个用户。在平台...
【Transformer系列】深入浅出理解Embedding（词嵌入）
热门推荐
IT菜鸟
09-15 1万+
【Transformer系列】深入浅出理解Embedding（词嵌入）
多模态技术之理论基础（二）
ys_1995的博客
12-02 727
单模态的转换以及模态对齐
十篇文章速览多模态推荐系统的最新进展
abcdefg90876的博客
12-14 806
© 作者｜陈昱硕机构｜中国人民大学高瓴人工智能学院导师｜赵鑫研究方向 | 推荐系统为了缓解推荐系统中存在的数据稀疏以及冷启动等问题，部分研究者尝试将多模态信息引入推荐系统中，...
多模态或者预训练向量对模型的影响
l491899327的博客
11-25 348
问题 ：像多模态或者是通过其它预训练方法得到的向量，直接加到推荐排序模型作为特征的话，为什么效果不明显？ 多模态指的是在推荐系统中引入视频、图片、语音等多种不同形式的数据和特征，希望来提升推荐效果。 在实际的业务应用里，确实存在多模态特征效果不强的问题。问题根源还是因为目前多模态的技术本质上还处于比较初期的阶段。比如用一些 CV 的技术去处理视频图像，识别出一些物品，比如视频里有汽车、有树木、有人物之类。但你要说这些物品对于最终的推荐效果到底有没有影响，比如说视频中出现汽车到底对用户的点击率影响有多大，我
多模态embedding
02-18
### 多模态 Embedding 的定义 多模态嵌入（Embedding）是指通过特定算法将来自不同模态的数据映射到同一特征空间中的过程[^1]。这种转换使得原本异构的各类数据能够在相同的维度上进行比较、计算相似度以及联合建模。 ### 实现方式 为了实现有效的多模态嵌入，通常采用以下几种策略： #### 统一表示学习 通过对不同类型的数据分别提取高层次语义特征，并最终将其投影至共享的空间内完成统一表达。此过程中常用的技术有卷积神经网络(CNNs)用于处理图像，循环神经网络(RNNs)/变压器(Transformer)结构针对序列化的文本信息等。 ```python import torch.nn as nn class MultiModalEncoder(nn.Module): def __init__(self, text_encoder, image_encoder): super(MultiModalEncoder, self).__init__() self.text_encoder = text_encoder # 文本编码器 self.image_encoder = image_encoder # 图像编码器 def forward(self, texts, images): text_features = self.text_encoder(texts) image_features = self.image_encoder(images) return text_features, image_features ``` #### 注意力机制与跨模态对齐 引入注意力模块帮助聚焦于重要的局部区域或片段；同时借助对比损失函数等方式确保两个及以上模态间存在强关联性的样本点尽可能靠近彼此，在低维流形中形成紧凑簇群分布。 ```python from transformers import CLIPModel, CLIPTokenizer, CLIPProcessor model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-base-patch32") text_inputs = tokenizer(["a photo of a cat"], padding=True, truncation=True, return_tensors="pt") image_input = processor(image=image, return_tensors="pt")["pixel_values"] outputs = model(**text_inputs, pixel_values=image_input) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over classes print(probs) ``` ### 应用场景 多模态嵌入技术已经在众多领域展现出巨大潜力并得到实际应用： - **自动驾驶**：结合摄像头视频流与其他传感器信号提升环境感知精度； - **智能推荐系统**：综合考虑用户的浏览历史记录、评论内容及其社交行为等因素提供个性化服务建议； - **虚拟助手交互体验优化**：支持语音命令识别的同时理解伴随的手势动作意图，从而更好地响应用户需求[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值