qq_52679708的博客

多模态情感识别阅读笔记

现有的视觉语言预训练(VLP)方法主要依赖于成对的图像-文本数据集，这些数据集要么由大量的人工标注，要么从互联网上爬取，然后使用复杂的数据清理技术。为了减少对对齐良好的图像文本对的依赖，有希望直接利用大规模的纯文本和纯图像语料库。本文提出了一种数据增强方法，即跨模态CutMix (CMC)，用于未配对VLP中的隐式跨模态对齐学习。具体而言，CMC将自然句子从文本视图转换为多模态视图，其中句子中基于视觉的单词被随机替换为具有相似语义的不同图像补丁。拟议的CMC有几个吸引人的特点。首先，它增强了数据的多

人们对世界的认知，对信息的处理是多模态的，而大多的机器学习模型却是仅针对单模态的。同时，处理多模态问题的模型，大多还是使用late-stage的fusion方法，先分别处理单个模态数据之后fusion为多模态结果。本文提出一种基于transformer的多层fusion方法，借助于“fusion bottlenecks”。本文让不同模态的信息穿过许多小的bottlenecks，迫使模型collate和share不同模态中最重要的信息。作者发现通过这种方式，模型的fusion性能更好，且计算消耗降低。本文做了

COCA：对比字幕是图像-文本基础模型

视觉语言预训练 (VLP) 提高了许多视觉语言任务的性能。但是，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，通过使用从web收集的嘈杂的图像-文本对来扩展数据集，在很大程度上实现了性能改进，但这是监督的次优来源。在本文中，作者提出了BLIP，这是一个新的VLP框架，可以灵活地转换到视觉语言理解和生成任务。BLIP通过引导字幕有效地利用了嘈杂的web数据，其中字幕器（captioner）生成合成字幕，而过滤器（filter）则删除了嘈杂的字幕。作者在广泛的视觉语言任务上获得了最

在计算机视觉与自然语言处理预训练模型层出不穷的今天，多模态预训练模型也悄然浮出水面。本篇综述是第一篇关于视觉-语言预训练（Vision-Language Pretraining）的综述，介绍了VLP的最新进展和新领域，包括了图像-文本和视频-文本的预训练。整篇综述从以下5个方面对视觉-语言预训练进行了详细的阐释

使用matlab绘制采集到的温度数据，实现监测区域内温度场的重构并绘制温度场的等温线图具体代码clear allclcload MyColormapsload dataMatrix2021%监测数据保存在dataMatrixnCol=2179; %有效数据为2179组nNode=5; %5个无线传感器节点workMatrix=dataMatrix(1:nNode,1:nCol);%dataMatrix%每一列是一次观测，共nCol次观测p1=[21 2 2];p2=[22 64

正反输出排序后对同一key的value做笛卡尔集积

可能是jdk的配置出了问题，将jre和bin单独分开加在path环境变量后（此贴仅记录学习）

调试步骤：1.将Hadoop目录下etc文件里的core- site.xml的local host修改为本机名称或本机IP地址。2.用cmd进入Hadoop用cd进入sbin目录下，输入start- all.cmd。3.再进入bin目录创建文件夹就可以访问9000没报错了。（此贴仅记录学习）...