信息检索——BM25算法实现（自己写）

代码套公式的时候，qi默认的是查询项。但是，在网上的一些代码中，计算结果有点不太一样呀。。。。

import math

import jieba
import numpy as np
sents = []
sents.append("自然语言自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。")
sents.append("它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。")
sents.append("自然语言处理是一门融语言学、计算机科学、数学于一体的科学。")
sents.append("因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，")
sents.append("所以它与语言学的研究有着密切的联系，但又有重要的区别。")
sents.append("自然语言处理并不是一般地研究自然语言，")
sents.append("而在于研制能有效地实现自然语言通信的计算机系统，")
sents.append("特别是其中的软件系统。因而它是计算机科学的一部分。")

query_list = ['自然语言', '计算机科学', '人工智能', '领域']   # 分词之后的list
class BM25:
    def __init__(self):
        self.idf={}
        self.f={}
        self.d=[]
        self.k1=1.5
        self.b= 0.75
    def tokenier(self,sents):
        tokens=[list(jieba.cut(s)) for s in sents]
        sdl=[len(i) for i in sents]
        aver=np.mean(sdl)
        self.d=[dl/aver for dl in sdl]
        return tokens
    def idf_cal(self):
        #计算文档中包含了query的数目（n(qi))
        tokens=self.tokenier(sents)
        query_n={}#n(qi)
        #计算query在文档d中出现的频率——self.f
        for query in query_list:
            query_n[query]=0
            self.f[query]={}
            for i,wlist in enumerate(tokens):
                self.f[query][i]=0
                if query in wlist:
                    query_n[query]+=1
                    self.f[query][i]=wlist.count(query)
        #计算IDF分数
        N=len(sents)
        for query in query_list:
            self.idf[query]=math.log(N-query_n[query]+0.5)-math.log(query_n[query]+0.5)
        return self.idf,self.f
    def retrival(self):
        self.idf_cal()
        score=[]
        for i,sent in enumerate(sents):
            s=[]
            for q in query_list:
                v1=self.idf[q]
                v2=self.f[q][i]
                v3=self.d[i]
                s.append(v1*(v2*(self.k1+1)/(v2+self.k1*(1-self.b+self.b*v3))))
            score.append(np.sum(s))

            '''s=[self.idf[q]*((self.f[q][i](self.k1+1))/(self.f[q][i]+self.k1*(1-self.b+self.b*self.d[i]))) for q in query_list]
            score.append(np.sum(s))'''
        print(score)
        print(self.d)
        print(self.f)
        print(self.idf)

BM25().retrival()

结果

Building prefix dict from D:\Anocada\lib\site-packages\jieba\dict.txt ...
Loading model from cache C:\Users\ASUS\AppData\Local\Temp\jieba.cache
Loading model cost 0.6411159038543701 seconds.
Prefix dict has been built succesfully.
[1.8632418568569213, -0.876616004612327, -0.49146313523763707, 0.0, 0.0, -1.5155913331365245, -1.013560838505477, 0.47126411006385116]
[1.2363636363636363, 1.2, 1.0545454545454545, 1.0545454545454545, 0.9818181818181818, 0.6909090909090909, 0.8727272727272727, 0.9090909090909091]
{'自然语言': {0: 2, 1: 1, 2: 1, 3: 1, 4: 0, 5: 2, 6: 1, 7: 0}, '计算机科学': {0: 1, 1: 0, 2: 1, 3: 0, 4: 0, 5: 0, 6: 0, 7: 1}, '人工智能': {0: 1, 1: 0, 2: 0, 3: 0, 4: 0, 5: 0, 6: 0, 7: 0}, '领域': {0: 2, 1: 0, 2: 0, 3: 1, 4: 0, 5: 0, 6: 0, 7: 0}}
{'自然语言': -0.9555114450274362, '计算机科学': 0.4519851237430572, '人工智能': 1.6094379124341003, '领域': 0.9555114450274362}