MatchPyramid:Text Matching as Image Recognition

最新推荐文章于 2021-09-05 21:40:53 发布
最新推荐文章于 2021-09-05 21:40:53 发布
阅读量646 收藏 1
点赞数 2
分类专栏： 深度之眼文本匹配 文章标签： 卷积 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ying_M/article/details/118592778
版权

目录

在这里插入图片描述

论文阅读准备

课前基础知识

在这里插入图片描述

学习目标

在这里插入图片描述

知识树

在这里插入图片描述

论文导读

论文研究背景、成果及意义

研究背景

CNN在图像上的应用
数字识别
在这里插入图片描述
CV场景下的模型的输入：
在这里插入图片描述
每一层学到什么内容？
下图为可视化神经网络学习到的知识
在这里插入图片描述卷积神经网络各层所学习到的知识并不是黑盒，每一层都有其特定的功能，并且分工明确，从浅到深，CNN会逐步的提取出边缘、颜色、纹理等图形的图案，然后一直到最后一层就会定位到或识别到具体的物品。即CNN在训练过程中，自动的提取任务中所需要的各种特征、各个层级的特征，这些特征越是浅层越是普遍或通用的，越高层越具体，越接近实际的应用场景。利用训练好的CNN做迁移学习，可以直接用。
CNN在文本中的应用
在这里插入图片描述
模型输入：
在这里插入图片描述
【思考】在文本匹配任务中，如何把两个文本表示成一个矩阵向量？因为CV的输入是一个矩阵向量
Motivation
在这里插入图片描述

哪些信息被学到才能被称为充分的学习？自然语言处理领域大概有这样几个level：char-level、word-level、phrase(短语)-level、sentence-level
CNN模型在CV领域处理或识别某一个东西，它也是通过不同的level去识别某一个物体，在NLP中也是通过不同的level去实现的。
文本匹配相同思路实现
在这里插入图片描述
低层识别比较通用的Level，高层识别比较具体的level。

研究成果

CNN在NLP领域的应用
在这里插入图片描述

MatchPyramid论文泛读

在这里插入图片描述

摘要

摘要核心：

  • 1.交互考虑多种维度(word, phrase, sentence)特征来理解自然语言。
  • 2.如何有意义的矩阵化表示文本？Matching Matrix的构建方式介绍。(如何将匹配的两个句子表示成矩阵向量)
  • 3.CNN模型善于从多层的、多角度的模式中学习。
  • 4.图像识别的思路迁移到文本匹配。

研究成果

  • 1.提出一种新颖的从图像识别的思路解决文本匹配的模型。
  • 2.提出了一种深度卷积神经网络模型，可以有效的抽取多层特征。
  • 3.通过实验对比，本文提出的模型展现了很大的优势。

论文精读

MatchPyramid算法模型总览

MatchPyramid结构

在这里插入图片描述
从上往下去看，文本匹配任务的通常解法当做是一个回归任务，回归任务到最后得到的不是一个离散的值，而是一个具体 score

MatchPyramid模型细节

Matching Matrix

两个1-D序列—>一个2-D向量(矩阵)？此矩阵需要满足什么样的条件才可以称得上能够很好的表示这两个1-D序列？
在这里插入图片描述

需要满足的条件：

  • 1.可以表示所有元素彼此之间的某种关系
  • 2.值是有某种意义的，例如值是代表相似或不相似关系、相斥或相同关系，这种意义属于外部的知识，把这些知识带入到模型中，对模型会有更大的帮助。
    本文提出了三种方法来计算对应位置的值：
    1. Indicator Function
    在这里插入图片描述
    在这里插入图片描述
    矩阵中的1表示对应位置是相同的，0表示对应位置是不同的
    问题：
  • 1.不能刻画相似词语的语义关系，如’famous’和’popular’。(不能刻画词语之间的语义关系)
  • 2.binary image(通过这种方法得到的matching matrix，相当于cv领域的二维图像，即用0和1组成的黑白照片，然而黑白照片所能表达的信息是有限的)
    用这种方法得到的matching matrix，所能表示的信息或对两句话的表征是有限的。
    Cosine
    在这里插入图片描述
    在这里插入图片描述
    总结：刻画两个(token0词向量之间的角度作为相似度。
    Dot Product
    在这里插入图片描述
    在这里插入图片描述
    相当于gray image，特征更加丰富。
    gray image的像素值是用0~255来表示图片，0表示黑色，255表示白色，比纯的黑白照片更丰富一点。
    相比余弦相似度，内积没有除以向量的长度，因此内积是考虑了长度的信息；从数学角度来讲，内积表示一个向量在另一个向量上的投影。
    用cosine还是用Dot Product？
  • 1.余弦相似度和点积都是相似度，但是点积对幅度(在nlp任务中表示词的长度)敏感，而余弦相似度不敏感；
  • 2.余弦相似度只能度量角度，点积处理角度还可以度量长度；
  • 3.当使用词向量时，一般可以使用余弦相似度；
  • 4.当使用词向量时，要衡量单词的重要性(例如关键词的抽取等模型、)，需要考虑词的长度+角度，这是可以选择用点积操作；找一些相似词或构造句向量，可以直接用余弦相似度
  • 5.点积计算复杂度更低。
Hierarchical Convolution

在这里插入图片描述
回顾深度神经网络DNN
在这里插入图片描述
在这里插入图片描述
问题：参数过大，导致模型难训练，容易过拟合(解决过拟合的通常的方法是使用dropout，即随机掩盖掉一些神经元，减少一些权重)
CNN有一个重要的特点是有一个局部感受野的特征、参数可以共享。
如何学习一张图片？
在这里插入图片描述
在这里插入图片描述
卷积层
在这里插入图片描述
Filter是如何进行运算的？
在这里插入图片描述

在这里插入图片描述
filter是如何去检测pattern的？filter是固定值，表示它是一种能够检测某一种特征的filter，如上图中的filter，主对角线上的值都为1。
为何stride(步长)常常设为1或2？因为只有感受野是有重复的，它的边界处才可以被检测到，一些关键属性不会被忽略，如果步长比filter还大，有一部分信息就会被漏掉了。
在这里插入图片描述
零填充的好处：

  • 在某种程度上控制输出数据，通过padding控制输入数据与输出结果有相同的尺寸，当不想改变维度又想通过卷积抽取特征时，可以使用padding
  • padding的加入可以更好的学习到边界部分
    问题：
  • 1.卷积层参数量怎么算？
    假设kernel是3*3的，再加上bias，参数就是9+1=10
  • 2.卷积是可以减少参数的，是如何实现的？
    通过参数的共享
    卷积核(滤波器)长什么样子？
    在这里插入图片描述

卷积层是一组参数表示的检测器，之所以用滤波器或检测器是有效果的依据的原理是cv里面的平移不变性，
上图是将96个滤波器表示出来，在某一个卷积核是检测一个角度或某一个边界，这个滤波器在图片上的各个位置都是有效的，就不需要重新去学习特定的检测器，这就是为什么可以用感受野或共享参数的滤波器在整个图片上做一个滑动。因此，可以使用多个过滤器来配合过滤或提取整个特征。
CV中与NLP中的不同
在这里插入图片描述
在NLP中，每句话构成一个矩阵，单独的看矩阵中的某几个数据其实是没有意义的，每个token都是一行，应该按照行进行滑动。
池化层
对输入做维度的缩小，整个图像或主要特征没有减少。
在这里插入图片描述
在这里插入图片描述
池化层的作用：1)作为逐渐降低数据或输出filter map的尺寸，进一步减少网络中的数据量，参数减少，防止过拟合，提高模型的泛化能力。但现在很多模型已经不要池化层了，虽然最大值可能代表了特征，但其他值被直接去掉，可能会丢失很多信息；2)增大感受野；3)最大池化的原因：只取最大值，忽略掉其它比较小的值，这种方法是有意义的，当内容中发生一些比较小的变化时，比如图像在一个很小的范围内作一个平移，它的最大值是不发生变化的，这样可以给模型带来一定的稳定性，池化层可以给模型带来一定的不变性。
池化层没有参数量。

Matching Score

在这里插入图片描述
1.Multi-Layer Perception
在这里插入图片描述

2.Loss
在这里插入图片描述
【举例】
下面网络有多少参数量？
在这里插入图片描述
在这里插入图片描述

模型构建细节/训练技巧

关于CNN网络构建
在这里插入图片描述

在这里插入图片描述
如果想使用更大一点的滤波器，比如7*7，通常这种情况下只能在第一层直接对原始图像作一个卷积层。
感受野的尺寸很少有超过3的，池化层容易造成信息缺失的操作，pooling层的feature过大，会导致整个模型不那么准。
卷积层和全连接层怎么设计？
【结论】强特征数量多但是容易提取的话分类层更重要（可以多设置几层分类层），反之卷积层更重要。
强特征的判断：是否可以手写出规则或总结出一个规律。如果可以总结出一个规律，就可以认为是强特征。
例如在情感分析任务中，“我喜欢吃水饺”这句话中可以通过"喜欢"判断这句话是正类的，因此可以规定这样一种规则：含有“喜欢”的句子是正类。

实验设置及结果分析

在这里插入图片描述
数据集
在这里插入图片描述

实验一

在这里插入图片描述
【结论】

  • 1.TF-IDF是一个很强的Baseline
  • 2.MP-Dot表现最好
  • 3.本文性表现提升非常明显
    模型学到了什么
    在这里插入图片描述
    点越亮代表数值越大。
    通过kernel获取到的特征能够保留下来，传递到后面的层中。

实验二

在这里插入图片描述
【结论】

  • 1.TF-IDF是一个很强的Baseline，甚至优于一些深度模型
  • 2.MP-Dot表现最好
  • 3.ARC模型表现提升很多，适合多语料的情况
  • 4.MP-IND表现较差
    为什么MP-DOT总会好于MP-Cos
    在这里插入图片描述
    把所有词的长度挑选出来
    长度较小的词一般都是那种无用的词；长度较大的词一般都是很重要的、有决定性的词。
    启发：在一个document或语料里面去寻找关键词，是不是要考虑到它的长度，越长可能是越重要的词。

论文总结

关键点

  • 1.交互考虑多种维度(word, phrase, sentence)特征来理解自然语言
  • 2.两句话构建交互矩阵
  • 3.使用CNN的背后原因
  • 4.CV到NLP的思路迁移

创新点

  • 1.提出一种新颖的从图像识别的思路解决文本匹配的模型
  • 2.提出若干种方法，将两句话构建交互
  • 3.提出了一种深度卷积神经网络模型，在交互矩阵上可以有效的抽取和组合多层特征，效果明显

启发点

  • 大火的BERT是否可以从多种角度(word, phrase, sentence)的组合来设计（自己设计一个bert）
  • 让论文方法新颖的聪明做法？去了解其他领域的知识
  • CNN仍是很好的基础模型
尧景
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Text Matching as Image Recognition论文笔记
kawhi849
01-04 1077
简单介绍一下这篇文章。 原文传送门：https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11895/12024 论文的核心思想：把两条文本的匹配问题转化成一个相似性矩阵，再用图像的思想去理解矩阵，也就是用卷积去过矩阵，最终提取出特征做分类模型。这也是我认为论文很有价值的一点：借用图像的思想去解决nlp的问题。 论文笔记：...
论文阅读：《Text Matching as Image Recognition》
11-07 1532
原文：https://blog.csdn.net/sinat_33741547/article/details/80649542 一、概述 MatchPyramid来自Liang Pang等在2016发表的一篇文章Text Matching as Image Recognition，大意为利用图像识别的方式进行文本匹配。 二、思路 对于文本匹配，基本思路如下述公式： 其中T为文本，函数θθ，...
Text Matching as Image Recognition
lpty的博客
06-11 4859
一、概述 MatchPyramid来自Liang Pang等在2016发表的一篇文章Text Matching as Image Recognition，大意为利用图像识别的方式进行文本匹配。 二、思路 对于文本匹配，基本思路如下述公式： 其中T为文本，函数θθθ代表将文本转换为对应的表示，函数FFF则代表两个文本表示之间的交互关系。 由侧重点不同可分为表示方法与交互方法，即注重θθ...
【阅读笔记】Text Matching as Image Recognition
SrdLaplace的博客
01-04 799
Pang, Liang, et al. “Text Matching as Image Recognition.” AAAI. 2016. https://github.com/pl8787/MatchPyramid-TensorFlow 概述：构建文本与文本的相似矩阵，把相似矩阵当作是图片，然后采用 CNN 对其进行分类二分类（相似与不相似）。 构建相似矩阵 M： Indicator fun...
论文阅读-文本匹配（三）MatchPyramid(构造匹配矩阵)
布生气
12-13 9606
版权声明：本文为博主原创文章，未经博主允许不得转载。禁止抄袭。 由于作者资历尚浅，有理解错误的地方欢迎大家指正和交流。 论文简介 论文题目： Text Matching as Image Recognition 论文地址：http://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11895/12024 作者：Li
Django 报错User.DoesNotExist: User matching query does not exist.解决办法
01-20
models.py — 定义数据表 from django.db import models # Create your models here. class User(models.Model): username = models.CharField(max_length=20, primary_key=True) password = models.CharField(max...
Image-Matching.rar_image matching
09-23
在这个"Image-Matching.rar_image matching"压缩包中，包含的源代码应该是用于在Visual Studio 2010环境下实现图像匹配功能的。下面我们将深入探讨图像匹配的基本概念、常用方法以及VS2010环境下进行图像处理的一些...
image matching with GUIDE:image matching with GUIDE-matlab开发
05-30
我们使用 GUIDE 创建一个 GUI，我们在其中加载两个图像，转换为二进制图像并计算匹配百分比。这是初学者学习图像处理的 gud。 我认为这个反刍可以更好地修改，硬件接口可以用于临床应用和网吧等地方的人员识别。...
image-matching.rar_image-matching
09-19
本资源“image-matching.rar_image-matching”提供了一套图像匹配的源代码，结合了详细的算法报告，以及多个匹配子程序，为研究者和开发者提供了宝贵的实践素材。 在图像匹配中，主要的目标是找出两幅或多幅图像...
Image-matching.zip_image_image matching
09-24
在“Image-matching.zip_image_image matching”这个压缩包中，很显然，它提供了用于图像匹配的学习资源，可能包括示例代码、教程、测试图像等，帮助我们更好地理解和应用图像匹配技术。 1. **图像匹配的目的**： ...
MatchPyramid-for-semantic-matching:论文“文本匹配作为图像识别”的简单Keras实现
05-03
MatchPyramid用于语义匹配 MatchPyramid模型的简单Keras实现，用于语义匹配。 请参考论文： 快速浏览 输入数据格式 火车/有效套票： label |q1 |q2 1 |Q2119 |D18821 0 |Q2119 |D18822 测试集： q1 |q2 Q2241 |D19682 Q2241 |D19684 预处理语料库： qid |words D9980 |47 0 1 2 3 4 5 6 7 8 9 10 D5796 |21 40 41 42 43 44 14 45 字词嵌入： word |embedding (50-dimension) 28137 |-0.54645991 2.28509140 ... -0.34052843 -2.01874685 8417 |-9.01635551 -3.80108356 ... 1.86873138 2.147
image-text matching(三)Position Focused Attention Network for Image-Text Matching
csdn_tclz的博客
11-22 1011
背景 本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019 动机 前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中) 如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
《Stacked Cross Attention for Image-Text Matching》
黄鑫的博客
08-08 4813
ECCV 2018 主要思路：分别对文本和图像应用attention的机制，学习比较好的文本和图像表示，然后再在共享的子空间中利用hard triplet loss度量文本和图像之间的相似性。 图像特征：采用ResNet-101的Faster R-CNN网络对每一个图像产生k个目标区域，提取每一个目标对象的特征，嵌入矩阵变换为h维的vector 文本特征：文本的每一个word得到...
image-text matching(一)Context-Aware Multi-View Summarization Network for Image-Text Matching
csdn_tclz的博客
11-21 1353
背景 这篇文章是山东大学聂礼强组的工作，被ACM MM2020接收 动机 作者提到，图文匹配任务中，一张图像有多句与之同语义的captions，每句caption可以视为是从不同的角度来对图像内容进行刻画(在描述图像中不同的区域)，如下图的例子。这样一来，图像特征如何与多个来自不同视角的captions进行对齐是任务难点。 方法 本文提出名为CAMERA的网络模型，包含一个自适应门控self-attention模块AGSA来自适应地捕捉模态内上下文信息流、然后是一个Multi-View Summariza
Triplet/表示模型/MatchPyramid等
weixin_30485799的博客
05-06 695
1.Triplet https://www.jianshu.com/p/46c6f68264a1 http://lawlite.me/2018/10/16/Triplet-Loss%E5%8E%9F%E7%90%86%E5%8F%8A%E5%85%B6%E5%AE%9E%E7%8E%B0/ https://zhuanlan.zhihu.com/p/35560666 2、表示模型 http...
CVPR2020 文本图像处理方向论文总结（Image-Text Matching）
qq_43680727的博客
11-22 4387
最近阅读了CVPR2020关于image-text matching的三篇文章，前两篇都是对文本图像匹配任务的改进，第三篇则是将文本图像匹配模型用于文本描述任务中。这里，我对三篇文章的主要内容进行一个梳理总结。 备注：由于本人也是第一次接触这个方向，很多术语可能翻译不正确，文章内容理解不正确，内容仅供参考。 1.GSMN Graph Structured Network for Image-Text Matching 解决问题： 现有的多对多匹配方案，大多忽视了元素属性、同一模态中不同元素间关联，而仅仅学习
Graph Structured Network for Image-Text Matching论文笔记
weixin_42863990的博客
09-05 319
Graph Structured Network for Image-Text Matching 该论文认为，现在的工作学习图文匹配时，是基于不同模态的对象共同出现的共现统计数据来学习“粗糙”对应关系的，这忽略了短语之间的细粒度语义相关。所以作者提出了将region和word构建为无向图结构，通过对无向图mulit-block的match来计算相似度。 其主要可以分为图构建，node-level matching 和structure-level matching。 sentence图构建的时候，使用st
text matching
ckqsars的博客
12-13 2232
本文章记录关于text matching相关文章的记录： 前提概述： text matching是一种端到端的文本匹配的算法，主要用与搜索引擎，问答系统等，主要是为了找到与目标文本最相关的文本。如和问题最相关的答案，在搜索引擎中找到与搜索框中关键词最相关的网页等。MatchPyramid 文章来源：Text Matching as Image Recognition 主要方法：构建文本与文本
The Pyramid Match Kernel学习[1]
cmdssd1的专栏
10-11 3134
翻译原文：
ERROR: No matching distribution found for imageupload
最新发布
07-13
抱歉，我无法提供直接的安装或下载链接。但你可以尝试在Python包索引（PyPI）上搜索并查看是否有与 "imageupload" 匹配的软件包。你可以使用pip工具来安装Python包，具体命令为：pip install <package_name>。如果找不到匹配的软件包，你可以尝试使用其他类似的包来实现图像上传的功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值