multimodal
文章平均质量分 93
翻译的多模态领域的目标检测,目标追踪论文记录
一只叮铛
赶快努力吧,啥时候都来得及
展开
-
恶劣天气下的车辆探测:多方关注 多模态融合方法
遇到的问题,在恶劣天气情况(雾霾,雨天)下,只通过摄像头单一的目标检测,很难实现安全可靠的车辆、路况检测所做的工作:在MVDNet框架的基础上构建多头注意力机制的MVDNet模型,实现模型对采集数据各个方面特征点的收集,并且融合各种传感器(摄像头、激光雷达、雷达)的互补优势,实现了能够高精确度、高鲁棒性的恶劣天气下的车辆,路面障碍探测系统。原创 2024-05-20 20:42:52 · 972 阅读 · 0 评论 -
弥合多焦点和多模式之间的差距:集中集成多模态图像融合框架
遇到的问题:在多模态图像融合领域不同焦点区域的多幅可见光图像与红外图像融合过程中,由于可见光镜头的焦距深度有限,阻碍了同一场景内焦距信息的同时采集所做的工作:提出了一个MMIF框架,用于联合聚焦集成和模态信息提取。引入了一种基于半稀疏的平滑滤波器,将图像分解为结构和纹理组件。在此基础上,提出了一种融合纹理分量的多尺度算子,通过考虑各模态图像的像素焦点属性和相关数据,能够检测出重要信息。原创 2024-05-20 10:39:23 · 556 阅读 · 0 评论 -
跨语言迁移学习@多模态仇恨言论事件检测2024::多模态仇恨言论检测的有效策略及其目标
遇到的问题:图像和仇恨言论文本已多模态的形式出现,统的单模态模型仅关注文本或图像分类,无法有效解释这些多模态场景中仇恨言论的细微差别和往往依赖于上下文的性质。所做的工作:采用基于twitter的RoBERTa(Loureiro等人,2023)和Swin Transformer V2模型(Liu等人,2022)来提取用于编码文本和视觉内容的特征,并通过多层感知器(MLP)融合技术将它们连接。在不需要特征工程的情况下,能够有效地整合和分析文本和视觉信息,以准确识别文本嵌入图像中的仇恨言论原创 2024-05-18 12:53:51 · 825 阅读 · 0 评论 -
基于时间序列图像不确定性分析的多模态少样本目标检测
缺乏针对像素级多的训练,少数样本学习模型再实际应用中的表现不佳。由于仅使用单模态数据进行训练,导致模型再不同平台泛化能力较差等问题提出了一种基于特征提取的不确定性分析的几类学习模型,采用编码器-解码器结构和挤压-注意力模块。所提出的模型在编码块中包含两个组件,包括残差表示提取和注意力层。提出了一种从多模态图像中提取固有表征和潜在表征的新方法;针对不同的现实场景进行了多个多模态数据集,以研究所提出的少样本学习方法的性能。原创 2024-05-17 12:58:10 · 603 阅读 · 0 评论