长文本和短文本区分_文本匹配有哪些方法?怎么应用?

10951d56eeea48d36d49390df602fb18.png

文本匹配是自然语言处理中的一个重要问题,它一个很宽泛的概念,通常研究两段文本之间关系的问题都可以看做是文本匹配。但是在不同场景下,匹配的定义可能差别很大,因此文本匹配并不是一个独立的研究方向,不过很多问题可以抽象成文本匹配问题。

01常用方法

深度学习广泛应用之前,传统文本匹配任务基本采用特征提取的方式,这种方法可解释性好,但需要依赖人工进行特征选择和尝试,泛化能力一般。自从深度学习开始被广泛应用,文本匹配也得到了很好的发展,可以大致分为以下几个主要方向:

  1. 单语义模型,通过神经网络给两个句子分别编码,然后计算句子之间的相似度,最经典的代表是2013年微软提出的DSSM[1]。
  2. 多语义模型,改善了单语义模型单一粒度的问题,将整个文本分为不同级别的表达方式,例如词、短语、句子,也会考虑到句子的局部结构[2],编码表达信息比单语义模型更加丰富。
  3. 匹配矩阵模型,借用了图像的矩阵表示方式[3],将文本匹配的交互方式定义为匹配矩阵,因此可将匹配精细到两两词,甚至两两字母之间。
  4. 句子交互模型,主要包括表征层和交互层,应用注意力(attention)机制来挖掘句子内和句子间内容的联系,从而得到更好的效果[4]。

02行业应用<

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值