多模态
文章平均质量分 75
科研小达人
这个作者很懒,什么都没留下…
展开
-
矢量量化(Vector Quantization)(转)
矢量量化(VQ,Vector Quantization)是一种极其重要的信号压缩方法。VQ在语音信号处理中占十分重要的地位。广泛应用于语音编码、语音识别和语音合成等领域。一、概述 VectorQuantization (VQ)是一种基于块编码规则的有损数据压缩方法。事实上,在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。它的基本思想是:将若干个标量数据组构成一个矢量,然后在矢量空间给以整体量化,从而压缩了数据而不损失多少信息。 在以前,VQ运用的...转载 2022-05-19 16:42:04 · 994 阅读 · 0 评论 -
in-domain和out-of-domain
in-domain和out-of-domain域内数据和域外数据是根据数据采集的性质而言的,经常出现在域适配问题之中。比如在图文统一表征的工作中,例如文献[2],作者采用的数据集是COCO Captions,VG Dense Captions和Conceptual Captions,SBU Captions,因为前两个数据集包含的图片数据是来自于COCO和VG数据集的,而大部分的Visual+Language任务都会基于这两大类型的数据集去构建测试集,因此我们把前两个数据集称之为域内数据(in-doma原创 2022-05-13 12:57:51 · 2330 阅读 · 1 评论 -
多模态学习
文章目录一、引言 二、主要研究方向及研究进展 (一)多模态表示学习 (二)模态间映射 (三)对齐 (四)融合 (五)协同学习 三、未来研究展望 (一)表示学习 (二)模态间映射 (三)对齐 (四)融合 (五)协同学习 四、结束语 参考文献一、引言模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介(例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播),多模态学习(Multimodal Deep Learn转载 2022-05-11 16:06:41 · 2777 阅读 · 1 评论