qq_42882082的博客

原创 (2024 MM) MIND:Improving Multimodal Sentiment Analysis Via Multimodal Information Disentanglement

学习有效的联合表征一直是多模态情感分析的核心任务。以前的方法侧重于利用不同模态之间的相关性，并通过复杂的融合技术提高性能。然而，由于不同模态固有的异质性，可能导致分布差距，阻碍了对多模态信息的充分利用，并导致从特征中提取的信息冗余和不纯。为了解决这个问题，我们引入了多模态信息解纠缠(MInD)方法。MInD通过共享编码器和多个私有编码器将多模态输入分解为模态不变分量、模态特定分量和每个模态的残余噪声分量。共享编码器的目的是探索模态之间的共享信息和共性，而私有编码器的目的是捕获独特的信息和特征。

原创 Python与PyTorch的版本对应

原创 Bert模型输出：last_hidden_state转换为pooler_output

在这个示例中，我们首先从预训练的BERT模型中加载了tokenizer和BERT模型。要使用预训练的BERT模型的权重来初始化线性层 pooler_layer，可以从预训练的BERT模型中加载权重，并将这些权重用作 pooler_layer`的初始权重。在BERT模型中，last_hidden_state是最后一个隐藏层的隐藏状态，而pooler_output是通过应用一个全连接层（通常是一个线性变换加上激活函数）到last_hidden_state中的特殊token（[CLS] token）得到的。

原创 SUGRM(2023 ACL fingds)

在过去的几年中，多模态情感分析(MSA)得到了广泛的关注，但大多数研究的重点都局限于构建多模态表示，捕捉单个任务中不同模态之间的交互作用。这在很大程度上是因为。

原创 (2021 AAAI) Self_MM

表征学习是多模态学习中一项重要而富有挑战性的任务。有效的模态表示应该包含两部分特征：一致性和差异性。

原创 (2023ACL) ConFEDE: Contrastive Feature Decomposition for Multimodal SentimentAnalysis

多模态情感分析旨在预测视频内容的情感。最近的研究表明，多模态情感分析关键取决于学习多模态信息的良好表征，而表征应包含不同模态间一致的模态不变表征和模态特定表征。在本文中，我们提出了一个统一的学习框架ConFEDE，它联合进行对比表征学习和对比特征分解，以增强多模态信息的表征。它将视频样本的三种模式(包括文本、视频和音频)分解为相似特征和不相似特征，并通过以文本为中心的对比关系来学习。我们在CH-SIMS、MOSI和MOSEI上进行了广泛的实验，以评估各种最先进的多模态情感分析方法。

原创 网络模型训练 模型保存

使用训练集训练模型，在某个训练的epoch开始，计算验证集的性能（比如准确度）表现，边训练边保存性能更优的模型。训练很多很多次，验证集性能估计先上升后下降，等到验证集性能有较明显下降的趋势，就可以停止了。（2）loss是否继续降低，或者其他metric是否继续变化，但是并不意味着不降低了模型就好，这个往往是训练的时候比较容易观察的指标。验证集上结果是否继续提升，这个是比较靠谱的，如果选择的验证集靠谱的话。答：训练次数过多，模型对训练集拟合过好，模型泛化能力会降低，验证集的性能会下降。

原创 踩坑系列之pytorch安装之后不能使用cuda

参考博客1参考博客2

转载 ubuntu系统中的cuda cudnn cudatookit及pytorch使用

这篇讲的很详细

原创 多模态第2篇：MMGCN代码配置

在执行过程中出现安装包卡住不动，无法继续安装成功的问题，报错如下Building wheel for torch-scatter (setup.py) …将Shell path一栏改成刚刚下载的git的路径，注意选择的是sh.exe，不是git.exe！train.py中第2行的CUDA_VISIBLE_DEVICES改为0。（3）最后在左下角打开Terminal，即可运行.sh文件了。打开run.sh文件，直接点击左侧的绿色三角形即可开始运行。：相关的wheel文件下载不到 或者是下载缓慢；

原创 多模态第1篇：MISA代码配置运行

Pycharm专业版2022.2.2 python3.8源码中给了environment.yml,可以用以下命令创建，但可能是由于某些库的版本问题，尝试失败。最终选择新建一个虚拟环境，命名为MISA ，再依次导入相关包。

原创 Pytorch安装

使用pip install torch (2.0.0版本)，这样安装的torch是直接运行在CPU上的，想要使用GPU版本需要使用对应的cuda版本。尽管pytorch官网上目前只给出了11.8的Cuda支持，但是社区明确表明了兼容高版本Cuda。在安装pytorch时我们需要选择对应CUDA版本的pytorch，那如何查看CUDA版本呢？二、去Pytorch官网下载对应CUDA版本的pytorch。安装好后，检验是否安装成功，新建.py文件。首先激活Python 虚拟环境。1.NVIDIA方式。

原创 问题：XAMPP无法启动mysql

XAMPP无法启动mysql解决措施

原创 实习Day2

1.启动mysql:services.msc2.SQL语句创建表：Create table tablename( 字段1 类型（长度） primary key auto_increment, 字段2 类型，字段3 类型，Foreign key(字段3） references 主表名（主键）)；DESCRIBE/DESC语句会以表格的形式来展示表的字段信息，包括字段名、字段数据类型、是否为主键、是否有默认值等，语法格式如下:DESCRIBE<表名>; 或简写成:

原创 实习Day1

IDEA 永久破解激活教程：点这里2020年IntelliJ IDEA配置：点这里在2021版IDEA中新建一个java WEB项目：点这里MySql 8.0及对应驱动包匹配注意点：点这里mysql-5.5.25-win32下载： ****JAVA_HOME （主目录）说明：C:\Program Files\Java\jdk1.8.0_181CLASSPATH （类路径）说明：%JAVA_HOME%\libPATH说明：%JAVA_HOME%..

原创 基于VisualSFM的三维重建项目（二）

第三章 三维重建实验结果3.1.获取的原始图像图像数量：33 图像分辨率：1872 * 4032部分原图像，如图15所示：3.2.特征提取与匹配结果对图像进行SIFT特征提取，如图16所示：倒数第二列为每张图片提取到的特征点数量。基于提取的特征点进行特征匹配，经由匹配筛选之后，可以得到图像之间的匹配结果，如图17所示：3.3.稀疏重建结果然后进入稀疏重建的过程，稀疏重建很重要的工作就是依据匹配后的特征点对，求解出相机的投影矩阵等一些参数，为之后的稠密重建提供输入bundle文

原创 基于VisualSFM的三维重建（一）

第一章绪论1.1.项目背景与目的三维重建一直是计算机视觉的热点研究领域，是获取物体模型及三维场景的重要手段。人们获取物体三维信息的方法有很多种，比如传统的几何造型技术，此方法需要较好的专业水平和大工作量;还可以通过3D激光扫描技术来获取，此方法受室外环境的影响较大，且不能获得目标纹理信息。相比而言,基于图像特征点的三维重建方法没有上述建模方法的诸多限制，只需要输入图像，成本低廉，不需要其他特殊的先验信息，通过优秀先进的算法，就能恢复出图像中物体及场景的三维信息。不仅所需设备简单，对场景的限制较小，而且还

原创 编译原理实验三 自下而上语法分析

一、实验目的（1）根据 PL/0 语言的文法规范，要求编写 PL/0语言的语法分析程序。（2）通过设计、编制、调试一个典型的自下而上语法分析程序，实现对语法分析程序所提供的单词序列进行语法检查和结构分析，进一步掌握常用的语法分析方法。（3）选择最有代表性的语法分析方法，算符优先分析法、LR分析法；或者调研语法分析器的自动生成工具YACC的功能与工作原理，使用YACC生成一个自底向上的语法分析器。二、实验内容（1）已给 PL/0 语言文法，构造表达式部分的语法分析器。分析对象〈算术表达式〉的 BN

原创 编译原理实验四 语义分析及中间代码生成

一、实验目的（1）通过上机实验，加深对语法制导翻译原理的理解，掌握将语法分析所识别的语法范畴变换为某种中间代码的语义翻译方法。（2）掌握目前普遍采用的语义分析方法─语法制导翻译技术。（3）给出 PL/0 文法规范，要求在语法分析程序中添加语义处理，对于语法正确的表达式，输出其中间代码；对于语法正确的算术表达式，输出其计算值。二、实验内容（1）语义分析对象重点考虑经过语法分析后已是正确的语法范畴，本实验重点是语义子程序。已给 PL/0 语言文法，在实验二或实验三的表达式语法分析程序里，添加语义处理部

原创 Linux线程编程（一）

一.线程基本知识1.定义（1）进程是资源管理的基本单元，而线程是系统调度的基本单元，线程是操作系统能够进行调度运算的最小单位，它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。（2）一个进程在某一个时刻只能做一件事情，有了多个控制线程以后， 程序设计成在某一个时刻能够做不止一件事，每个线程处理独自的任务。需要注意的是：即使程序运行在单核处理器上，也能够得到多线程编程模型的好处。处理器的数量并不影响程序结构，所

原创 Linux线程编程（二）

二、线程相关API注：与线程有关的函数构成了一个完整的系列，绝大多数函数的名字都是以pthread_d打头的，要使用这些函数库，要通过引入头文件pthread.h，因为pthread的库不是linux系统的库，所以在进行编译的时候要加上-lpthread进行链接线程函数库。同进程ID一样，线程ID是pid_t类型的变量，而且是用来唯一标识线程的一个整型变量，在linux当中如果你要查询系统中的线程，也有一条命令：ps-aL在传统的UNIX进程模型中，每个进程只有一个控制线程，从概念上讲，这与基于

原创 linux的~目录

linux中 ~ 表示的是什么目录？~ 表示代码主目录，也就是当前登录用户的用户目录。比如：我登录用户是chencd ~~ 代表的就是 /home/chen/当然前提是有用户目录，如果没有/home/chen目录的话情况就比较多了。总之先cd ~ 再pwd就知道了。pwd 命令，是 Print Working Directory （打印工作目录）的缩写，功能是显示用户当前所处的工作目录。该命令的基本格式为：/是指根目录：就是所有目录最顶层的目录./表示当前目录./ 一般需要和其他文件

转载 shell无名管道线的实现（父子进程实现对管道的一端读另一端写）

在介绍正式内容之前，先弄清楚几个函数和概念。1.fork()：用于创建子进程，它的返回值：在父进程中，fork返回新创建子进程的进程ID；在子进程中，fork返回0；如果出现错误，fork返回一个负值。2.int pipe(int filedes[2]):用于创建管道，调用pipe函数时在内核中开辟一块缓冲区（称为管道）用于通信，它有一个读端一个写端，然后通过filedes参数传出给用户程序两个文件描述符，filedes[0]指向管道的读端，filedes[1]指向管道的写端（很好记，就像0是标

原创 Win10 系统下VisualStudio2019 配置点云库 PCL1.11.0

参考博文链接：博客1博客2博客3

原创 ICP算法进行点云配准

一、算法原理1.配准给定两个来自不同坐标系的三维数据点集，找到两个点集空间的变换关系，使得两个点集能统一到同一坐标系统中，即配准过程。2.ICP（Iterative Closest Point，迭代最近邻点）ICP本质上是基于最小二乘法的最优配准方法，精度高，不需要提取特征点；但是需要在icp使用之前两点云已经完成粗配准，否则容易陷入局部最优。该算法重复进行选择对应关系点对，计算最优刚体变换这一过程，直到满足正确配准的收敛精度要求。ICP是一个广泛使用的配准算法，主要目的就是找到旋转和平移参数，将两

转载 Linux学习（二）

Linux中ls命令的用法详解一．目录结构使用ls命令我们首先要了解Linux下的目录结构，Linux系统是由各种文件和目录构成的，就像Windows系统下文件和文件夹的关系，一级一级的向下包含扩展，例如在根目录下有bin，boot，dev，etc，home等目录，而在这些目录下又包含了其他的文件和目录，这样就形成了以根目录“ / ”为根的树形结构。另外：每个目录下都有“.” “…”这样的两个隐藏文件，“.”表示本文件，“…”表示父目录。二.Linux下的文件类型在Linux下一切皆文件 （eve

原创 Linux学习（一）

Ubuntu 系统上编译运行C程序Ubuntu有自带的C编译器gcc，无需我们安装，直接编辑源代码然后编译运行即可。第一个C程序用Ubuntu自带的gedit文本编辑器来编写：1、右键点击桌面然后点击Open Terminal，打开终端。2、通过gedit创建文件test.c，在终端输入 gedit test.c然后回车。3、打开gedit后开始编辑源代码，完成后Ctrl+S保存退出即可。4、回到终端，准备编译这个.c文件，输入如下代码，形式为：(gcc test.c -o test 或者 g

原创 关键点检测算法——sift算法

OpenCV+Python实现 shif算子（一）SIFT算法分解为如下四步：1.尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。2.关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。3.方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。4.关键点描述：在每个关键点周围的邻域

原创 边缘检测算法——Candy算法

OpenCV+Python 实现candy算法（一）Canny边缘检查算法步骤：1.彩色图转化为灰度图2.由于边缘检测容易受到图像中噪声的影响，应用高斯滤波来平滑图像–>去除噪声。3.找寻图像的强度梯度。 Canny的基本思想是找寻一幅图像中强度变化最强的位置。所谓的变化最强，即指梯度方向。平滑后的图像中每个像素点的梯度可以由Sobel算子来获得：（1）首先，利用Sobel算子得到沿x轴和y轴方向的梯度G_x和G_y。（2）由G_X和G_Y便可计算每一个像素点的梯度幅值G。（3）接着，每

原创 PCL学习 .txt转.pcd格式

【PCL学习】.txt转.pcd格式在转换前，首先确定.txt的格式，是属于xyz还是xyzrgb(含RGB信息），这关系到pcd文件中的格式是创建xyz还是xyzrgba格式。代码如下：#include<iostream>#include<fstream>#include <string>#include <vector>#include <pcl/io/pcd_io.h>#include <pcl/point_types.

原创 编译原理实验二 自上而下语法分析

自上而下 语法分析实验一、实验目的（1）给出 PL/0 文法规范，要求编写 PL/0语言的语法分析程序。（2）通过设计、编制、调试一个典型的自上而下语法分析程序，实现对词法分析程序所提供的单词序列进行语法检查和结构分析，进一步掌握常用的语法分析方法。（3）选择最有代表性的语法分析方法，如递归下降分析法、预测分析法；选择对各种常见程序语言都具备的语法结构，如赋值语句，特别是表达式，作为分析对象。二、实验内容（1）已给 PL/0 语言文法，构造表达式部分的语法分析器。分析对象〈算术表达式〉的 BN

原创 VS code 报错“检测到 #include 错误，请更新 includepath”

VScode 报错“检测到 #include 错误，请更新 includepath”使用Visual Studio Code运行代码，报错“检测到 #include 错误，请更新 includepath”,找到一篇靠谱的教程，实测可行。原因windows 系统没有安装gcc文件。（可以自行在 cmd 中输入gcc -v，正常会返回gcc的版本，可以先检查下自己是不是这个原因。）解决办法安装MinGW。MinGW安装流程(64位)：1.从 官方网站 下载一个名为mingw-get-set

原创 计算机网络实验二 VLAN间路由

计算机网络实验二 VLAN间路由一、实验目的1.掌握VLAN路由的应用场景；2.掌握VLAN路由的工作原理；3.掌握VLAN路由的基本配置。二、实验内容1.配置单臂路由，包括链路层配置和网络层配置；2.配置三层交换，使得不同VLAN间可以通信。三、实验原理部署了VLAN的传统交换机不能实现不同VLAN间的二层报文转发，因此必须引入路由技术来实现不同VLAN间的通信。VLAN路由可以通过二层交换机配合路由器来实现，也可以通过三层交换机来实现。1.VLAN的局限性。VLAN在分割广播域的

原创 编译原理实验一 词法分析

编译原理实验一 词法分析实验目的（1）根据 PL/0 语言的文法规范，编写PL/0语言的词法分析程序；或者调研词法分析程序的自动生成工具LEX或FLEX，设计并实现一个能够输出单词序列的词法分析器。（2）通过设计调试词法分析程序，实现从源程序中分出各种单方法；加深对课堂教学的理解；提高词法分析方法的实践能力。（3）掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的法。（4）掌握词法分析的实现方法。（5）上机调试编出的词法分析程序。实验内容 根据PL/0语言的文法规范，编写PL/

原创 操作系统实验 进程调度 (先来先服务、时间片轮转法、优先级调度算法

@TOC加粗样式欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展