Siamese+LSTM+Distance(abs)

最新推荐文章于 2024-05-27 09:31:51 发布
最新推荐文章于 2024-05-27 09:31:51 发布
阅读量703 收藏 1
点赞数
分类专栏： 文本相似度 文章标签： pytorch 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/szn1043862535/article/details/125543275
版权

Siamese+LSTM


网络结构模块

  • 孪生网络

    首先要理解什么是孪生网络模块，我们在词嵌入和编码（LSTM）过程中使用的是相同的参数，比如说我下面的代码中，在编码阶段，对于两个句子的输入，我都使用了相同的LSTM，这也就是Siamese+LSTM。

  • 疑问
    不过我有个疑问，我在某些文章中看到用LSTM来判断句子相似度，它不是Siamese+LSTM，在文章中对比的两种方法，一种是Siamese+LSTM，还有一种是LSTM。我也不清楚这个单独的LSTM是什么意思，后来我思考了一下，可能是在对两个句子进行编码的时候，使用了两个不同的LSTM结构（我猜是这样）。

  • 编码
    编码完之后，也就是LSTM的输出阶段。LSTM的输出尺寸是[len,batch,hidden],因为在LSTM结构中我没有去声明batch_first这个属性，对LSTM的输出，我选取了最后一个输出，相当于final_ht。

  • 距离
    两个尺寸都是[batch,hidden],然后对两个句子取绝对值的差作为全连接神经网络的输入，torch.abs(),这里有个dim参数有时候有用，我在这里没写，正常情况下应该是dim=-1。

  • sigmoid()函数
    关于最后为什么使用sigmoid函数，我最终是把输出的值通过sigmoid函数归到[0,1],最终loss函数采用的nn.BCEloss()。当然这里你也可以进行二分类，我试了一下，感觉没有输出[0,1]之间的效果好，虽然效果都不是很好。。。

import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
import pickle

file1 = r"./data/vocab.pkl"
file2 = r"./data/vocabs_matrix.pkl"


vocabs = pickle.load(open(file1,'rb'))
Embedding_matrix = pickle.load(open(file2,'rb'))
Vocab_size = len(vocabs)

class LSTM1(nn.Module):
    def __init__(self):
        super(LSTM1, self).__init__()
        self.Vocab_size = Vocab_size
        self.batch_size = 500
        self.input_size = 300
        self.n_hidden1 = 128
        self.Embedding_dim = 300
        self.n_class=2
        self.seq_len = 20
        self.dropout = nn.Dropout(0.2)
        self.Embedding_matrix = Embedding_matrix
        self.word_embeds = nn.Embedding(self.Vocab_size+1, self.Embedding_dim)
        pretrained_weight = np.array(self.Embedding_matrix)
        self.word_embeds.weight.data.copy_(torch.from_numpy(pretrained_weight))
        self.Lstm1 = nn.LSTM(self.Embedding_dim, hidden_size=self.n_hidden1, bidirectional=False)
        #self.fc = nn.Linear(self.n_hidden1*2,self.n_class,bias=False)
        self.fc1 = nn.Linear(self.n_hidden1,32,bias=False)
        self.b1 = nn.Parameter(torch.rand([32]))
        self.fc2 = nn.Linear(32,1,bias=False)
        self.b2 = nn.Parameter(torch.rand([1]))
        pass


    def forward(self,train_left,train_right):
        device = torch.device("cuda" if torch.cuda.is_available() else 'cpu')
        train_left = self.word_embeds(train_left).to(device)
        train_right = self.word_embeds(train_right).to(device)

        train_left = train_left.transpose(0,1)
        train_right = train_right.transpose(0,1)

        hidden_state1 = torch.rand(1,self.batch_size,self.n_hidden1).to(device)
        cell_state1 = torch.rand(1,self.batch_size,self.n_hidden1).to(device)

        outputs1_L,(final_state1_L,_) =self.Lstm1(train_left,(hidden_state1,cell_state1))
        outputs1_L = self.dropout(outputs1_L)

        outputs1_R,(final_state1_R,_) =self.Lstm1(train_right,(hidden_state1,cell_state1))
        outputs1_R = self.dropout(outputs1_R)
        outputs1 = outputs1_L[-1]
        outputs2 = outputs1_R[-1]
        output = torch.abs(outputs1-outputs2)
        output = self.fc1(output)+self.b1
        output = self.dropout(output)
        output = self.fc2(output)+self.b2
        output = torch.sigmoid(output)
        return output
        pass

train模块

def train(model, device, train_dataloader, optimizer, epoch):

    model.train()
    train_loss = 0
    num_correct = 0
    for batch_idx,(train_left,train_right,lables) in enumerate(train_dataloader):
        train_left = train_left.to(device)
        train_right = train_right.to(device)
        lables = lables.to(device)
        optimizer.zero_grad()
        output = model(train_left,train_right)
        output = output.view_as(lables)
        loss = loss_fn(output,lables)
        loss.backward()
        optimizer.step()
        train_loss += float(loss.item())
        true = lables.data.cpu()
        predict = torch.round(output).cpu()
        num_correct += torch.eq(predict, true).sum().float().item()
    total_len = len(train_dataloader.dataset)
    train_acc = num_correct / len(train_dataloader.dataset)
    train_loss = train_loss/ len(train_dataloader)
    print('Train epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f} \t Acc: {:.6f}'.format(epoch,
                                                                           batch_idx * len(train_left),
                                                                           len(train_dataloader.dataset),
                                                                           100. * batch_idx / len(train_dataloader),
                                                                           train_loss,
                                                                           train_acc))

结果（数据集采用的是Quora Question Pairs）

D:\Anaconda3\envs\python36\python.exe D:/TextMatching/NewProject2/train.py
Learning rate:  0.01
Epochs:  10
Training on 363861 samples...
Train epoch: 1 [363000/363861 (100%)]	Loss: 0.450285 	 Acc: 0.787457
Make prediction for 40429 samples...
F1 improved at epoch: 1 ; best_F1:0.75543 ; best_Accuracy:0.79368 ; best_Precision:0.67190 ; best_Recall:0.86267

Training on 363861 samples...
Train epoch: 2 [363000/363861 (100%)]	Loss: 0.368117 	 Acc: 0.833332
Make prediction for 40429 samples...
F1:0.75543 Accuracy:0.79368 Precision:0.67190 Recall:0.86267 No improvement since epoch: 1

Training on 363861 samples...
Train epoch: 3 [363000/363861 (100%)]	Loss: 0.336102 	 Acc: 0.848426
Make prediction for 40429 samples...
F1 improved at epoch: 3 ; best_F1:0.76229 ; best_Accuracy:0.79602 ; best_Precision:0.66912 ; best_Recall:0.88559

Training on 363861 samples...
Train epoch: 4 [363000/363861 (100%)]	Loss: 0.320470 	 Acc: 0.855816
Make prediction for 40429 samples...
F1 improved at epoch: 4 ; best_F1:0.77047 ; best_Accuracy:0.81200 ; best_Precision:0.70121 ; best_Recall:0.85491

Training on 363861 samples...
Train epoch: 5 [363000/363861 (100%)]	Loss: 0.308956 	 Acc: 0.862206
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4

Training on 363861 samples...
Train epoch: 6 [363000/363861 (100%)]	Loss: 0.302345 	 Acc: 0.864965
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4

Training on 363861 samples...
Train epoch: 7 [363000/363861 (100%)]	Loss: 0.296583 	 Acc: 0.867658
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4

Training on 363861 samples...
Train epoch: 8 [363000/363861 (100%)]	Loss: 0.293175 	 Acc: 0.868862
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4

Training on 363861 samples...
Train epoch: 9 [363000/363861 (100%)]	Loss: 0.288697 	 Acc: 0.871360
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4

Training on 363861 samples...
Train epoch: 10 [363000/363861 (100%)]	Loss: 0.287799 	 Acc: 0.871404
Make prediction for 40429 samples...
F1:0.77047 Accuracy:0.81200 Precision:0.70121 Recall:0.85491 No improvement since epoch: 4


Process finished with exit code 0

最后，如果是做文本相似方向的可以和我一起交流一下，我也是个新手。。

栽娃
关注
专栏目录
个人实现的基于Siamese bilstm模型的相似句子判定模型,提供训练数据集和测试数据集
05-21
模型 模型思想:采用典型的siamese网络,两个句子分成左右两个部分进行输入,使用了四层双向lstm(权重共享)进行网络编码,最后计算两个编码之间的距离,最后做预测分类: 一 , 编码层:使用两个双向LSTM进行编码,权重共享 训练 模型 训练集 测试集 训练集准确率 测试集准确率 备注 问句匹配 80000 20000 0.8125 0.7956 20个epcho 总结 1,句子相似度计算是自然语言处理中的一个重要技术手段,本文简单实现了simamese相似度计算网络. 2,通过LSTM编码,曼哈顿距离作为相似读衡量的网络,在训练集上达到了0.81,测试集达到0.7956的准确率. 3,目前关于相似度计算的网络有很多,本项目是一个基础,后期将逐步学习,尝试其他网络. 4,将传统的相似度计算方式和深度学习网络进行融合,或许是可以做的一个点.
Siamese-LSTM：用于评估Quora问题对数据集的句子之间语义相似性的Siamese LSTM
02-03
连体LSTM 使用MaLSTM模型（暹罗网络+曼哈顿距离的LSTM）检测问题对之间的语义相似性。 使用的训练数据集是原始Quora问题对数据集（使用的〜363K对）的子集。 这是Keras基于和。 先决条件 纸，文章 数据 参考文献 原始作者的GitHub 基于TensorFlow的实现 Kaggle的test.csv太大了，所以我就只提取前20个问题，并创建了一个名为test-20.csv和它在使用predict.py 。 您应该将所有数据文件./data目录。 怎么跑 训练 $ python3 train.py 预测 它使用上面提到的test-20.csv文件。 $ python
NLP之SiameseLSTM算法
weixin_38440272的博客
05-14 3270
5.12今天交了一下，训练了一个epoch，效果不好，交了一下成绩是05.14今天终于改通了算法，是vocab.size的问题，传的时候给成词典的值了，应该给句子的值，导致eval出问题。训练了一个epoch，效果不好，准备循环100次看一下loss，这里记录一下原理。论文地址：Siamese Recurrent Architectures for Learning Sentence Simila...
siamese lstm network
weixin_30502965的博客
05-15 608
最近在复现ubuntu dialogue corpus 中用到的一些语义匹配模型的方法。 先是试了试siamese lstm network。模型结构图如下: context是对话的上文，response是对话的回复。简单来说，模型目的就是选出符合context的response。为了提取出context，和response的语义信息，模型采用了共享参数的lstm来提取特征。然后用了双线性的方法...
推荐开源项目：Siamese-LSTM——语义相似度检测利器
最新发布
gitblog_00054的博客
05-27 437
推荐开源项目：Siamese-LSTM——语义相似度检测利器 去发现同类优质开源项目:https://gitcode.com/ 在自然语言处理领域，识别文本之间的语义相似性是一项关键任务。今天，我们向您推荐一个基于Keras实现的开源项目——Siamese-LSTM，它巧妙地结合了Siamese网络和长短时记忆网络（LSTM），用于检测Quora问答对中的语义相似度。 1、项目介绍 Siamese...
使用Siamese LSTM进行句子对相似度计算：深度学习的新应用
gitblog_00050的博客
04-22 400
使用Siamese LSTM进行句子对相似度计算：深度学习的新应用 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化的时代，理解和比较文本信息的相似性成为了一个重要的任务，广泛应用于自然语言处理、搜索引擎优化和社交媒体分析等领域。GitCode上的项目提供了一个基于Siamese LSTM网络的解决方案，让我们一起深入探讨其技术细节、应用场景和独特优势。 项目简介 该...
【学习】Reptile、梯度下降的LSTM、Siamese Network、原型网络、匹配网络、关系网络
Raphael9900的博客
01-11 1107
李宏毅深度学习
SiameseLSTM-Keras:句子相似度计算、LSTM、Keras
05-10
SiameseLSTM-Keras 针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分，基于Keras实现。训练35轮左右模型达到拟合，测试集准确率87%
[[NLP]基于Simaese LSTM的句子相似度计算
Forgive Me
11-02 1万+
句子相似度计算在问答系统以及客服机器人当中应用比较频繁，比对针对对话模型中比较频繁的问句可以先进行过滤，之后再进行对话理解。在文本检测方面也有所应用，比如作家写作风格的检测。本文叙述的句子相似度计算方法来自论文Siamese Recurrent Architectures for Learning Sentence Similarity,论文是基于Simaese LSTM网络对成对相似句进行训练，通
keras中siamese的实现
huowa9077的博客
07-17 7359
近期由于项目需要学习了一下Siamese网络，并用keras简单实现，现总结两种写法如下： 1.keras 序贯模型 input_shape = (105, 105, 1) left_input = Input(input_shape) right_input = Input(input_shape) #build convnet to use in each siamese 'leg' c...
deep-siamese-text-similarity:基于siamese-lstm的中文句子相似度计算
05-09
功能描述 基于siamese-lstm的中文句子相似度计算 环境搭建 Ubuntu：16.04（64bit） Anaconda：2-4.4.0（python 2.7） 历史版本下载： TensorFlow：1.5.1 numpy：1.14.3 gensim：3.4.0 (nltk：3.2.3) jieba：0.39 word2wec中文训练模型 参考链接： 代码使用 模型训练 # python train.py 模型评估 # python eval.py 论文参考 代码参考 版本：a61f07f6bef76665f8ba2df12f34b25380016613 AETC2018赛题描述 相关链接：
《Siamese Recurrent Architectures for Learning Sentence Similarity》论文总结
Ezail的博客
02-28 2299
今天开始整理一些之前看过的论文，一是复习巩固基础，二是可以回过头来想一想有没有新的理解。 论文链接： Siamese Recurrent Architectures for Learning Sentence Similarity Learning Text Similarity with Siamese Recurrent Networks Siamese Recurrent，中文名叫孪...
问答推荐系统的设计与实现
AI天才研究院
02-07 209
在当今信息爆炸的时代，用户面临着海量的数据和知识，如何快速准确地获取所需信息成为一个巨大的挑战。问答推荐系统作为一种智能化的信息服务工具，旨在解决这一问题。它结合了问答系统的精准性和推荐系统的个性化特点，为用户提供高质量、定制化的信息服务。问答推荐系统的出现不仅改变了传统的信息获取方式，还推动了人工智能、自然语言处理和机器学习等技术的发展。从早期的基于规则的问答系统，到如今的基于深度学习的智能问答推荐系统，这一领域经历了巨大的变革。
深度有趣 | 24 语句相似度计算
宏伦工作室
09-21 936
简介 使用Keras实现Siamese Network并进行语句相似度的计算 原理 Siamese Network是指网络中包含两个或以上完全相同的子网络，多应用于语句相似度计算、人脸匹配、签名鉴别等任务上 语句相似度计算：输入两句话，判断是否是一个意思 人脸匹配：输入两张人脸，判断是否是同一个人 签名鉴别：输入两个签名，判断是否是同一个人所写 以语句相似度计算为例，两边的子网络从Embedd...
SiameseLSTM论文阅读及其Tensorflow实现
jx00109的博客
05-24 1万+
原文作者主要为针对短语/句子/序列的相似性比较提出了一种评价模型——Siamese LSTM（孪生网络）。该模型是输入为句子对，输出为输入句子对的相似性得分（得分为1-5）。该模型在SemEval 2014数据集上取得了state-of-art的结果。
siamese模型码详解（每一句代码都有解释！！！）
li15006474642的博客
02-18 3561
最近在研究Siamese模型来进行文本相似度的计算，今天就做一期代码详解，每一行的代码都会做出相应的解释，对于初学LSTM的人来说读懂代码是非常有必要的，Siamese模型就是将两个句子（训练数据）通过embeding层（word2vec）分别输入到LSTM进行运算，并共享参数，利用损失函数不断的进行正向传播和反向传播来优化参数，最终达到成为一个比较优秀的模型 原理就不在细说了，这里主要是把代码解...
input：ABS_DISTANCE上报空指针错误
Eliot_shao的专栏
11-20 2517
在probe函数中设置事件类型EV_ABS和支持的事件码ABS_DISTANCE： input_set_capability(input_dev, EV_ABS, ABS_DISTANCE);然后在工作队列里上报传感器的数据： input_report_abs(dt->input, ABS_DISTANCE, 1); input_sync(dt->input); 运行程序，每次到
浅析文本相似度
热门推荐
王琨的博客
03-17 4万+
　　在自然语言处理(Natural Language Processing, NLP)中，经常会涉及到如何度量两个文本的相似度问题。在诸如对话系统(Dialog system)和信息检索(Information retrieval)等的问题中，如何度量句子或者短语之间的相似度尤为重要。为方便对知识的梳理，写下这篇博客对部分传统方法、词向量、深度学习方法进行总结，遗漏之处还请大家补充。 　　度量文...
LSTM Siamese neural network
茶桁专栏
12-28 965
本文中的代码在或中可找到。Hi, 你好。我是茶桁。大家是否还记得，在「核心基础」课程中，我们讲过CNN以及LSTM。卷积神经网络（CNN）已经在计算机视觉处理中得到广泛应用，不过，2017年开创性的Transformer神经网络的开创性使其称为一种可行的替代方案，Transformer是目前流行的ChatGPT的基础。它的主要缺点是需要大型数据集才能超越CNN同类产品。否则，在数据集有限的情况下，Transformer的性能回避CNN模型差。
Siamese bilstm模型在句子相似度判定中的应用
资源摘要信息:"本项目介绍了一种基于Siamese网络结构的相似句子判定模型，该模型使用了双向长短期记忆网络（BiLSTM）作为主要的编码技术。此模型的设计思路是在自然语言处理（NLP）中计算句子间的相似度，这是对文本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值