基于深度学习问答系统中的语义相似度计算

本文介绍了问答系统的基本类型,并重点探讨了在深度学习中如何利用余弦相似度计算语义相似度,特别是在第一类和第二类问答系统中的应用。余弦相似度通过计算文本的语义特征向量夹角的余弦值来评估文本间的相似性,常使用LSTM或Doc2Vec等方法提取特征。此外,还讨论了在模型训练中设置边界值(Margin)和使用Hinge Loss作为代价函数的重要性。
摘要由CSDN通过智能技术生成

问答系统

问答系统,简称QA,是自然语言处理领域的一类经典问题。

问答系统的模式基本上分为两类:

1. 由输入的问题在n个候选答案中选取一个最佳的答案。

2. 由输入的问题在已有的问题中选取一个语义最相似的问题,将该已有问题的答案作为最终的答案返回。


        第一种问答系统类似与京东客服的自动回答系统,很多使用过京东客服或是淘宝客服的同学会知道,当你问关商品或是关于售后以及物流的一些问题时,系统会自动回答你的问题,但是回答的这些信息都是提前放在答案库里的,所以会在答案库里的候选答案中选一个跟你的提问最匹配的答案作为回答。

        第二种类型的问答系统类似与百度知道,知乎这一类问答社区的形式。在数据库中,已经得到解答的问题是有答案的,而系统需要做的就是将用户输入的问题跟这些已经有答案的问题进行语义相似度计算,返回语义最相似的问题的答案作为回答。


语义相似度

        语义相似度,如同字面意思一样,就是形容两句话的语义是否相似,是不是表达着同样的意思。

     

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值