MMR重排(相似度通过编辑距离和重复度计算)

	def leven_shtein_score(self,query1,query2):#相对编辑距离(相对编辑距离越小,相似度越高)
        bias=0.0001
        res=(Levenshtein.distance(query1,query2))/(max(len(query1),len(query2))+bias)
        return res
    def repeat_score(self,query1,query2):#query间的重复度
        bias=0.0001
        res = len(list(filter(set(query2).__contains__, query1)))/(len(query2)+bias)
        return res
    
    def similar_score(self,querys):#query间相似度计算
        similarityMatrix=[[0 for i in range(len(querys))] for j in range(len(querys))]
        for i in range(len(querys)):
            for j in range(len(querys)):
                if i==j:
                    similarityMatrix[i][j]=1
                else:
                    similarityMatrix[i][j]=max((self.repeat_score(querys[i],querys[j])-self.leven_shtein_score(querys[i],querys[j])),0)
        return similarityMatrix
    
    def MMR(self,recScoreDict, similarityMatrix,lambdaConstant=0.5, topN=20):#MMR重排(推荐词的相关分数及推荐词间的相似度矩阵)
        s, r = [], [i for i in range(len(recScoreDict))]
        while len(r) > 0:
            score = 0
            selectOne = None
            for i in r:
                firstPart = recScoreDict[i]
                secondPart = 0
                for j in s:
                    sim2 = float(similarityMatrix[i][j])
                    if sim2 > secondPart:
                        secondPart = sim2
                equationScore = lambdaConstant * firstPart - (1 - lambdaConstant) * secondPart
                if equationScore > score:
                    score = equationScore
                    selectOne = i
            if selectOne == None:
                selectOne = i
            r.remove(selectOne)
            s.append(selectOne)
        return (s, s[:topN])[topN > len(s)]
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值