- 博客(9)
- 收藏
- 关注
RSS订阅原创 RAG检索引擎Elasticsearch安装配置(mac)及pdf灌库案例
是一个分布式搜索和分析引擎，专门用于处理大规模的数据搜索、日志分析和数据存储。它基于 Apache Lucene 库构建，提供了实时的全文搜索功能，可以在大规模数据集上进行高效的搜索、索引和分析。终端显示了 用户名和密码，访问https://localhost:9200，如果出现了这个错误，就改为 https 不是 http(未加密）我下载的是8.15.1版本的，默认用了自带的jdk，但是jdk打不开，只能用我本地自己的jdk。mac系统提醒打不开，在系统设置里，找到隐私与安全性，点仍要打开。
2024-09-11 10:43:59
1045
原创 论文“UniMSE: Towards Unified Multimodal Sentiment Analysisand Emotion Recognition“阅读笔记
多模态情感分析（MSA）和会话中的情感识别（ERC）是计算机理解人类行为的关键研究课题。从心理学的角度来看，情绪是在短时间内表达情感或感受，而情绪则是在较长时间内形成和保持的。然而，大多数现有的作品分别研究情感和情绪，并没有充分利用两者背后的互补知识。在本文中，我们提出了一个多模态情感知识共享框架（UniMSE），统一了MSA和ERC任务的功能，标签和模型。我们在句法和语义层面进行模态融合，并在模态和样本之间引入对比学习，以更好地捕捉情感和情绪之间的差异和一致性。
2024-03-21 09:56:05
954
1
原创 “Speech-Text Dialog Pre-training for Spoken Dialog Understandingwith Explicit Cross-Modal Alignm“精读
最近，语音文本预训练方法在许多语音和自然语言处理任务中取得了显着的成功。然而，大多数以前的预训练模型通常是针对一个或两个特定的任务，但未能征服广泛的语音文本任务。此外，现有的语音文本预训练方法未能探索对话中的上下文信息，以丰富话语表示。在本文中，我们提出了语音文本对话预训练口语对话理解与ExpliCiT cross模态对齐（SPECTRA），这是有史以来第一个语音文本对话预训练模型。具体而言，考虑到语音模态的时间性，我们设计了一个新的时间位置预测任务来捕获语音-文本对齐。
2024-03-18 18:30:59
1026
原创 论文“Toward Robust Multimodal Learning usingMultimodal Foundational Models“精读
现有的多模态情感分析任务高度依赖于训练集和测试集是完整的多模态数据的假设，而这种假设可能很难保持：多模态数据在现实世界中往往是不完整的。因此，在具有随机缺失模态的场景中，非常优选鲁棒的多模态模型。最近，基于CLIP的多模态基础模型通过学习图像和文本对的对齐跨模态语义，在许多多模态任务上表现出令人印象深刻的性能，但多模态基础模型也无法直接解决涉及模态缺失的场景。为了缓解这个问题，我们提出了一个简单而有效的框架，即TRML，使用多模态基础模型进行鲁棒多模态学习。
2024-03-18 11:38:37
1104
原创 论文“CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis”精读
多模态情感分析是一个新兴的研究领域，旨在使机器能够识别，解释和表达情感。通过跨模态交互，可以更全面地获得说话人的情感特征。Bidirectional Encoder Representations from Transformers（BERT）是一种高效的预训练语言表示模型。微调它已经在11个自然语言处理任务（如问答和自然语言推理）上获得了新的最先进的结果。然而，以往的BERT算法大多是基于文本数据进行微调，如何通过引入多模态信息来学习更好的表示仍然值得探索。
2024-03-14 16:20:55
1126
1
原创 解决pytorch指定GPU后还使用第一张卡的问题
最近在用gpu跑自己的一个基于Bert的情感分析任务，组内一台单机四卡服务器中0号卡师兄占用做，显存剩余不到1G。我部署过去的程序没有设置在几号gpu上运行，结果就默认到0号卡，报了以下错误。放在 import torch 之前！最后解决了问题，我的项目终于成功运行了。按照网上教程，提出的。
2023-11-13 22:40:26
2670
3
原创 MacOS 安装pycocotools问题解决
试了很多很多博主的方法，也安装了Cython和numpy，下载pycocotools的文件放在环境文件下也行不通，平台大部分的方法都是针对windows系统的。最后我苦苦探索了一整天，在github的一个评论区中看到了一条方法。在终端中运行这条命令后，出现了如下的错误。最近在学习目标检测，要用到coco数据集。
2023-07-04 14:59:20
316
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人