写在前面
大家好!这一章主要介绍搜索引擎的搜索与匹配部分的思路与实现。在上一章中,我们实现了新浪新闻的搜集和数据库的建立。这为我们这一章的搜索打下了基础。我们在这一章要实现搜索引擎的最为重要的部分——将用户输入的文字与数据库中的新闻进行匹配,从而为用户推荐与他的搜索最为相关的、且时效性较好的几条新闻。
这篇文章只是讲解思路,代码的展示也是为了配合讲解。如果大家要查看源码,请移步我的github,这篇文章所讲内容在Search.py
中。
开启我们的旅程
我们的目标是对于用户输入的语句,搜索引擎能够从数据库中找到最相关的新闻。当然,相关性不是我们唯一的目标,因为如果一篇新闻的相关性很高,但它是几年前发布的,那它就失去了时效性,这种新闻一般也是没有价值的。所以我们程序在给新闻打分的时候,要兼顾相关性和时效性。
让我们开启旅程吧?
1. 处理搜索语句
首先我们对用户输入的语句进行处理。和处理新闻的思路一样,我们先用jieba
库对用户输入的语句分词。再将这些词中的停用词和标点符号去除(停用词的概念请参考我的上一篇博客)。剩下的词就可以作为我们搜索的关键词啦。
举个栗子,如果我输入“中国和美国之间的贸易战”,在处理完以后,剩下的关键词就是“中国”、“美国”、“之间”、“贸易战”,而停用词“和”、“的”就被去除了。
提取出关键词后,我们还要对关键词的词频进行统计。试想,如果在搜索语句中“中国”出现了3次,而“美国”只出现了1次,那么说明用户更关心“中国”,所以与“中国”有关的新闻就应该排在与“美国”有关新闻之前。于是我们还应该统计关键词的词频,并用一个字典记录下来,留着之后推荐度打分用。
输入“中国与美国之间的贸易战,中国将如何应对”,程序的关键词提取和词频统计结果:
代码如下:
def search(sentence, N, avg_l):
build_StopWords() #建立停用词文档
#对输入的词进行相关度评价
searchTerms1 = jieba.lcut(sentence, cut_all = False)
#清除停用词
searchTerms = {
}
for p in searchTerms1:
p=p.strip()
if len(p)>0 and p not in stop_words and not p