- 博客(248)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 论文阅读之MMSD2.0: Towards a Reliable Multi-modal Sarcasm Detection System
具体而言，如图3（b）所示，只有19.3%的表情词同时存在于阳性和阴性样本中，而其余80.7%的表情符号词仅出现在一种类型的样本中（如阳性样本或阴性样本）。给定（a）中的示例，虚假线索去除阶段首先去除文本中的虚假线索，包括标签词（#terrible_food）和表情符号词（emoji_39）以获取（b），然后通过众包对不合理样本重新注释（人类重新注释）阶段对不合理的样本重新注释以获得最终的合理示例（c）。如图所示，在训练、验证和测试集中，阳性样本中的标签词字数平均超过1个，而阴性样本中的少于1个。
2024-04-27 17:46:11
1209
2
原创 论文阅读之AoM: Detecting Aspect-oriented Information for Multimodal Aspect-Based Sentiment Analysis
文章指出现有的方法在将整个图像与相应方面对齐时存在局限性，因为图像的不同区域可能与同一句子中的不同方面相关，粗略的图像-方面对齐可能会引入视觉噪声。：开发了一个新颖的注意力模块，用于细粒度的图像-文本对齐，以选择与方面语义相关的文本标记和图像块，从而提高分析的准确性。：文章提出了一种新的方法，用于多模态基于方面的文本情感分析（MABSA），该方法专注于检测与方面相关的语义和情感信息。：提供了注意力机制的可视化，帮助理解模型是如何学习并关注与方面相关的信息的。
2024-04-27 16:00:10
854
1
原创 LoRA:大模型的低阶自适用（使用BERT在IMDB数据集上运用LoRA微调）
论文链接本文将先介绍论文中的LoRA技术，然后以BERT为例在IMDB数据集上代码实现运用这项微调技术。代码+数据。
2024-04-16 08:53:30
1568
原创 BERT论文解读及情感分类实战
本文将先介绍架构和技术细节，然后介绍一个使用IMDB数据集情感分类的实战。IMDB数据集分为25000条训练集和25000条测试集，是情感分类中的经典公开数据集使用BERT模型进行情感分类，测试集准确率达到93%
2024-04-09 23:23:22
1082
原创 论文阅读之PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization（2024）
此外，文章还介绍了一种基于动量的卸载策略，以减轻PLoRA训练过程中的不稳定性。简单来说，PLoRA就是一次训练过程中，逐渐训练多个A、B矩阵，训练好一组就把他们加到预训练模型参数中，冻结，然后重新初始化一组A、B，继续只训练A、B，过了两个epoch觉得差不多就再加到W冻结，再开一组A、B，因此，一次训练过程可以得到多组A、B。PLoRA就是在训练过程中练一个小的LoRA然后加到预训练模型权重后面，然后LoRA重置，接着练，一个训练过程可以得到好多个LoRA矩阵，练好一个加一个，直到训练过程结束。
2024-03-23 15:49:06
1038
原创 问题 CZ: 甜蜜的烦恼（关于c++中string的一些用法）
比如，在一份名单中找某个人的姓名，在以前，她得依次逐个查找，速度慢又很容易看错。现在，她使用菜单命令：“编辑”-“查找”（或按Ctrl+F键），在弹出的查找对话框中，输入要查找的姓名，电脑就会找到要找的姓名或告诉你不存在你要找的姓名了。今天珍珍在查找时，输入“张明”，电脑告诉她不存在，但她不经意间发现“张 明”是有的！珍珍想删除所有姓名中间的空格，但由于名单很多，一个一个删除太慢了，所以她找到了会编程解决问题的你，请你写一个程序，删除所有名单中间的空格。第一行只有一个正整数n，表示名单中共有n个人的姓名。
2024-03-22 21:50:09
251
原创 论文阅读之LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS（2021）
LoRA的核心思想是在预训练模型的基础上，通过注入可训练的低秩分解矩阵到Transformer架构的每一层，而不是对所有模型参数进行微调（fine-tuning），从而大幅减少下游任务的可训练参数数量。而且，当我们面对不同的下游任务时，因为原本的预训练模型是冻结的，所以预训练模型用一个就行，只需要保存的参数就是加入的低秩矩阵，这样的话，也能节省大量的存储空间。总的来说，文章的主要贡献在于提出了一种新的、高效的大型语言模型适应方法，这种方法在减少资源消耗的同时，保持了模型的性能，并且易于与现有技术结合使用。
2024-03-22 21:37:56
1724
原创 论文阅读之Meme-ingful Analysis: Enhanced Understanding of Cyberbullying in Memes Through Multimodal Exp..
这个架构包括CLIP投影基础的跨模态颈部（Cross-Modal Neck），视觉信息文本序列模型（Vision-Informed Textual Seq2Seq model），以及语言敏感的视觉分割模型（Linguistically-Sensitive Visual Segmentation model）。文章还介绍了所提出的模型的方法论，包括多模态霸凌解释（MExCM）的形式化定义，CLIP投影基础的跨模态颈部，视觉信息文本序列模型，以及语言敏感的视觉分割模型。语言敏感视觉分割模型由红色虚线框表示。
2024-03-20 19:24:45
892
原创 论文阅读之Align before Attend: Aligning Visual and Textual Features for Multimodal Hateful Content Detect
这篇文章的主要内容是介绍了一种用于多模态仇恨内容检测的新方法，特别是针对图像和文本结合的模态，如模因（memes）。最后，文章讨论了模型的局限性，包括对低资源语言的适应性、对复杂模因内容理解的挑战，以及由于缺乏真实世界模因数据集而限制了性能评估的范围。实验结果表明，所提出的方法在MUTE和MultiOFF数据集上的F1分数分别为69.7%和70.3%，比现有最先进的系统分别提高了大约2.5%和3.2%的性能。开发了一个注意力框架，用于检测多模态仇恨模因，特别是针对视觉和文本模态的特征对齐。
2024-03-20 17:29:06
903
1
原创 论文阅读之AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
这种方法避免了依赖于CNN，并且通过在大量数据上进行预训练，ViT在多个中等规模或小规模的图像识别基准上取得了与最先进CNN相比肩甚至更好的结果，同时训练所需的计算资源更少。这篇文章的主要内容是介绍了一种新的计算机视觉模型——Vision Transformer（ViT），这是一种将自然语言处理中广泛使用的Transformer架构直接应用于图像识别任务的尝试。结论：文章总结了ViT的主要发现，并讨论了未来的研究方向，包括将ViT应用于其他计算机视觉任务、探索自监督预训练方法以及进一步扩展ViT的规模。
2024-03-19 17:19:06
1180
1
原创 论文阅读之Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment
文章提出的CLFA模型的总体结构如上。然后通过对比学习，在CLIP表示的指导下，将文本和图像的不同表示投影到同一深度空间中，这是促进主要分类任务的子任务。为了解决这个问题，文章提出了CLFA方法，该方法利用BERT对文本进行编码，ViT（Vision Transformer）对图像进行编码，并借用CLIP作为教师模型，通过对比学习实现文本和图像特征的语义对齐。然后，文章指出了以往研究中使用的双编码器结构的局限性，即它们分别对图像和文本进行编码，但未能学习跨模态特征对齐，这使得跨模态深度信息交互变得困难。
2024-03-18 12:34:23
989
原创 论文阅读之Learning Transferable Visual Models From Natural Language Supervision（2021）
训练现有技术的计算机视觉系统来预测一组固定的预定对象类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。直接从图像的原始文本中学习是一种很有前途的选择，它利用了更广泛的监督来源。实验证明，在从互联网上收集的4亿对（图像、文本）的数据集上，预测哪一个字幕与哪一幅图像一起使用的简单预训练任务是从头开始学习SOTA图像表示的一种有效且可扩展的方法。在预先训练之后，使用自然语言来参考学习到的视觉概念（或描述新概念），从而使模型能够零样本转移到下游任务。
2024-03-17 16:10:29
950
原创 python使用os批量读取、删除、修改、保存文件的操作
由于在日常数据处理中，我们可能需要批量对文件进行操作，接下来将详细介绍如何使用python的os对进行批量删除、修改、保存文件的操作假设我需要对文件夹A的文件进行操作，先编点数据：A文件夹中有这么些文件。其中txt文件内容编点：别的就空着了。
2024-03-15 12:59:27
581
原创 论文阅读之Multimodal Chain-of-Thought Reasoning in Language Models
本文主要对2023一篇论文《》主要内容进行介绍。大型语言模型（LLM）通过利用思想链（CoT）提示生成中间推理链作为推断答案的基本原理，在复杂推理方面表现出了令人印象深刻的性能。然而，现有的CoT研究主要集中在语言模态上。这篇文章提出了多模态CoT，将语言（文本）和视觉（图像）模式结合到一个分为两个阶段的框架中，该框架将基本原理生成和答案推理分开。通过这种方式，答案推理可以利用基于多模式信息的更好生成的理由。
2024-03-08 11:47:23
1394
原创 论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting
虽然情绪分析任务中通常根据输入文本中的关键意见表达来确定给定目标的情绪极性，但在隐式情绪分析（ISA）中，意见线索通常是隐含或者模糊的。因此，检测隐含情绪需要常识和多跳推理能力来推断意见的潜在意图。在思想链（CoT）思想的启发，本文引入了一个三跳推理（THOR）CoT框架来模拟ISA的模拟人类推理的过程。THOR设计了一个三步提示原则，逐步诱导隐含的方面、观点，最后是情绪的极性。THOR+Flan-T5（11B）在监督微调下将数据集最优性能（SoTA）提高了6%以上。
2024-03-01 10:48:35
1270
1
原创 使用SimpleTex在word中使用latex公式
在word中用word的数学公式自己一个一个打有点折磨人，但是我之前发现一个好东西，可以图像识别直接得出latex的公式，然后发现word中可以输入latex公式转化为正常的数学公式显示。那么事情变得明朗起来了。默认你已经有了SimpleTex。
2024-02-22 10:33:38
3353
原创 熵权法Python代码实现
熵权法做实证的好像很爱用，matlab的已经实现过了，但是matlab太大了早就删了，所以搞一搞python实现的，操作空间还比较大。
2024-02-10 13:29:42
967
原创 适合多种语言的BPE（Byte-Pair Encoding）编码
因为最近在看T5，里面讲到一些分词的方法如BEP，因为现在都是在玩大模型，那么语料也就都很大，而且还需要适配不同的语言，而不同的语言又不一定像英文那样按空格切分就行，例如咱们的中文，所以就需要一些适用性更广的方法了。
2024-01-21 12:34:55
473
原创 Excel的COUNTIF的用法，用于统计重复值、满足条件值
前一个变量填范围，后一个变量填条件，就是数一数在这个范围内满足这个条件的值有多少，所以除了统计重复值，还可以统计满足条件的值。条件：“条件”，如找出等于x的值，就写“=x”，不等于100的就是“100”…数据范围自己选择，可以选择一列，可以选择一行，可以选择两行…这是95这个格子的公式。
2024-01-11 11:56:37
837
原创 微信/QQ/百度网盘/QQ邮箱上传附件/网络上传文件很慢怎么办？
继上一次遇到这个问题没几天，期间也断断续续遇到过一点以为还是因为硬件原因，再一次进行长按关机键放静电，但是这次就没有效果了，上传还是超级慢。此时我就以为我的电脑坏了，差点拿去修直到我问了我同学，跟我说测一下网速，链接如下我心想网络应该没问题呀，b站视频打开来看视频很丝滑的但是我忽略了网络分上行网络和下行网络，前者很慢就是我目前遇到的问题我测了一下速度，果然下行网络很快，上行网络几乎为0。
2024-01-11 11:24:31
966
原创 微信/QQ/网络上传文件很慢怎么办？
问题是这样的，因为网店里上传图片到图片空间准备上货，但是发现图片上传不上去，问了客服说我命名啥啥的问题，但是之前都能传上去的图片也传不上去了。然后我开始以为是网络问题，但是我开b站看视频是秒开，网络肯定没问题，并且我也连了自己的热点试，依旧不行。然后我用同一个WiFi下的另一台电脑，发现能完美上传图片，我就意识到是我自己电脑出问题了。
2023-12-30 14:03:20
2971
原创 使用django的APP在前端上传excel通过post传给后端读取并打印
备研了，博客许久未更了，但是学期末的大作业，遇到了问题并成功解决了，不得不记录一下。
2023-06-11 21:22:04
1759
原创 笔记本电脑WiFi忽然消失的简易解决方法
我是这样弄好的，确实感觉是硬件问题，强制关机可能释放了一点静电，但不多，所以好了一会，但是后面的操作可能就放的比较多了，这样无线网卡能正常工作，就好了。然后找到一个办法：先正常关机，然后拔掉所有外设（电源、鼠标USB、耳机线等等），长按电源键15s+，其间你可能会看到电源键上的灯闪一下，据说这样能释放静电。然后按电源强制关机，再重启，发现好了，但是过了一会又断开连接了，然后又消失了。如果也是忽然消失，并且消失情况和我一样，那就继续往下看。不仅如此，就连设备管理器里，连Wireless都没有了。
2023-05-08 23:45:28
2269
2
原创 论文阅读之Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（2020）
迁移学习是自然语言处理（NLP）中一种强大的技术，它首先在数据丰富的任务上对模型进行预训练，然后在下游任务上进行微调。迁移学习的有效性导致了方法、方法和实践的多样性。在本文中，我们通过引入一个统一的框架来探索NLP的迁移学习技术的前景，该框架将所有基于文本的语言问题转换为文本到文本的格式。我们的系统研究比较了几十项语言理解任务的预训练目标、体系结构、未标记数据集、迁移方法和其他因素。
2023-05-05 23:23:01
487
3
原创 论文阅读之Parameter-Efficient Transfer Learning for NLP（2019）
微调大型预训练模型是NLP中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率低下的：每个任务都需要一个全新的模型。作为替代方案，我们建议使用适配器模块进行传输。适配器模块产生了一个紧凑且可扩展的模型；它们只为每个任务添加几个可训练的参数，并且可以添加新任务，而无需重新访问以前的任务。原始网络的参数保持固定，从而产生高度的参数共享。为了证明适配器的有效性，我们将最近提出的BERT Transformer模型转移到26个不同的文本分类任务中，包括GLUE基准。
2023-05-04 23:22:52
701
1
原创 关于云服务器上pytorch固定随机种子无法复现结果的问题
然后最近在云服务器上用.py跑的时候，神奇的事情发生了，用了上面代码固定随机种子，第一个epoch的结果可以完全复现，然后莫名其妙开始飘了，导致后面的epoch结果都不一样了，固定不住啊。但是当在ipynb文件里的时候，好像还是没法固定，每次跑出来结果还是不一样，当时就很懵，不知道啥原因，但是问题不大，用py文件就行了。关于云服务器上pytorch固定随机种子无法复现结果的问题。然后你运行，就可以知道你的结果是否可以复现了。好了，至此结果完全可以复现，不会乱飘了。这样的代码，就能保证结果可复现了。
2023-03-31 00:00:05
1217
原创 NLP中一些工具列举
应该还有很多，上面主要是对应英文的，但是其实他们也大部分支持中文，对于中文也有很多，如jieba，哈工大的LTP，百度LAC，jiagu等等。工具很多，知道名字才能进行信息搜集和对比，不然要干啥都不知道。
2023-03-01 11:08:09
617
6
原创 2023美赛C题Wordle二三问分布预测和难度分类预测
2023美赛选了C题，应该很多人会选，一看就好做，一看拿奖也难，没事，注重过程就好。能点开这篇博客的应该都知道题目吧…（随便截点题目意思意思）这里主要对于二三问，对于这个单词困难模式下的的人数分布百分比预测以及对这个单词的难度分类的预测。首先看到他给的数据是这样的第二问中有让我们预测EERIE这个单词的1-7try人数的百分比，因此思路很简单：单词特征作为输入，人数百分比作为输出，可以看作一个回归问题。
2023-02-22 13:36:00
1882
2
原创 计算机网络复习之应用层
超文本传输协议（Hyper Text Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。而 [9] 消息内容则具有一个类似MIME的格式。命名采用层次树状结构，域可划分为子域，各级间用点隔开，每个标号不超过63个字符，不区分大小写，级别低的在左边，高的在右边。域名系统DNS（Domain Name System）是因特网使用的命名系统，用来把便于人们使用的机器名字转换为IP地址。
2023-01-13 18:17:51
531
原创 seaborn的调色板、刻度、边框、标签、数据集等的一些解释
seaborn是对matplotlib进一步封装的库，可以用更少的代码，画出更好看的图。下面记录一下seaborn的基础用法。
2023-01-13 16:48:22
3418
原创 计算机网络复习之运输层
ARQ协议中的窗口是一段缓存空间，根据窗口的大小，可连续发送多个分组而不需要对方的确认，这样信道利用率就提高了。发信侧不用等待收信侧的应答，持续的发送多个帧，假如发现已发送的帧中有错误发生，那么从那个发生错误的帧开始及其之后所有的帧全部再重新发送。在停等式ARQ中，数据报文发送完成之后，发送方等待接收方的状态报告，如果状态报告报文发送成功，发送后续的数据报文，否则重传该报文。发信侧不用等待收信侧的应答，持续的发送多个帧，假如发现已发送的帧中有错误发生，那么发信侧将只重新发送那个发生错误的帧。
2023-01-08 22:37:48
503
1
原创 计算机网络复习之网络层
直接交付就是目的IP地址和子网掩码进行相与的操作，然后和子网的ip地址进行匹配，对应上了就能够直接交付。否则，再看路由表中是否有特定的主机路由能够对应上，如果还没有，则检测路由表中有无路径，即目的ip与路由表中ip的子网掩码进行相与，如果匹配则转发，如果还没有，则发送给默认路由，如果还是没用，就丢弃，报告转发分组出错。IP地址由两部分组成，前面一个字段是网络号 net-id（网络标识），它标志主机（或路由器）所连接到的网络，而另一个字段则是主机号 host-id（主机标识），它标志该主机（或路由器）。
2023-01-08 15:53:51
623
原创 计算机网络复习之DL层（数据链路层）与LAN（Local Area Network局域网）
需要说明的是单播的数据包在局域网中会被交换机唯一地送往目标主机，其他主机不会接收到数据，这是区别于原始的集线器的，数据的到达时间由交换机的转发速率决定，交换机会转发广播数据给局域网中的所有主机。查找转发表中与收到帧的目的地址有无相匹配的项目。广播是一种信息的传播方式，指网络中的某一设备同时向网络中所有的其它设备发送数据，这个数据所能广播到的范围即为广播域(Broadcast Domain)。2、“透明”是指局域网上的站点并不知道所发送的帧将经过哪几个网桥，对各站点来说，网桥好像是“透明” 的，是看不见的。
2023-01-07 22:31:53
1001
原创 计算机网络笔记之物理层
卫星的通信频带宽，通信容量大；卫星的通信距离远，且通信费用与通信距离无关；但卫星的通信时延较大，保密性较差。通信容量大，传输损耗小，抗干扰好，保密性好，体积小。但施工时难于将两根光纤精确连接。比如四进制码元，在电平中有四种波形，用两个比特来表示一个码元。有线传输介质主要有同轴电缆、双绞线和光缆。波特率就是每秒传输码元的个数。多个光纤就可以捆成一个光缆。计算机网络 第八版 谢希仁。
2023-01-06 16:12:40
1145
4
原创 论文阅读之Attention-based Conditioning Methods for External Knowledge Integration（2019）
在本文中，我们提出了一种将外部知识整合到循环神经网络 (RNN) 中的新方法。我们建议将词典特征集成到基于 RNN 的体系结构的自我注意机制中。这种对注意力分布的调节形式，加强了手头任务中最显着的词的贡献。我们介绍了三种方法，即注意力串联、基于特征的门控和仿射变换。在六个基准数据集上的实验表明了我们方法的有效性。基于注意特征的门控在任务之间产生一致的性能改进。我们的方法作为基于 RNN 的模型的简单附加模块实现，具有最小的计算开销，并且可以适应任何深度神经架构。
2022-12-27 17:16:27
200
1
前端实战之个人博客页面的涉及与开发
2023-01-05
Python实战之基于BP神经网络的通信运营商数据分析实例
2023-01-05
Android移动应用开发之使用ListView+SQLiteOpenHelper实现商品列表添加删除的界面
2022-11-16
机器学习之朴素贝叶斯分类+拉普拉斯平滑
2022-11-14
Matlab中pca降维并实现综合评价的实现
2022-11-12
机器学习之神经网络的公式推导与python代码（手写+pytorch）实现
2022-11-09
Android移动应用开发之登录用户密码记住,创建数据库存储查询密码
2022-11-09
Android移动应用开发之对话框Dialog的一些使用
2022-11-09
fragment与Activity通过接口进行数据传输
2022-10-07
Fragment动态添加与管理demo
2022-10-07
嵌入式接口之GPIO驱动LED的实验(附完整代码和工程)
2022-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人