python 信息检索索引压缩_信息检索课程小结

这是本学期所有的实验报告

因为大一上学期学了python，这学期学的java还不是很熟练，所以所有的实验都是用python实现的。

E1词频查询

E1词频查询就是对一个英文文档进行词频统计，并实现查询功能。这是容易实现的，因为老师给的文档是处理好的，标点与单词间都有空格，直接读取文件，利用字典操作即可。

E2汉语分词

E2汉语分词需要利用最大匹配法进行中文分词，并且要对分词算法进行评分。所谓最大匹配法就是到给出的词典中去匹配最长的词，这里给出一个例子：

根据这个很容易就想到利用滑动窗口实现。代码如下：

def sliding_window(line, left, right, length, word_dict, fp2):

"""滑动窗口，可从左到右寻找词的最大匹配"""

while left < length:

current = line[left:right]

# 成立的两种条件，最大匹配在字典中和单个字，成立后窗口左端右移，右端还原

if (current in word_dict) or (left + 1 == right):

fp2.write(current + ' ')

left = right

right = length

# 不成立时窗口右端左移

else:

right -= 1

分词结束后要利用F值对算法进行评价，标准如下：

这就需要把分词得到的文档与正确分词的文档进行对比。

E3网页处理

这次实验的任务是从html文件中抽取文本和链接。构建信息检索系统的第一步就是爬取数据(利用爬虫抓取互联网上的网页)以及分析网页(获取文本内容–用于建索引 和 链接–送给爬虫接着抓取新数据)而这次实验就是分析网页。

这个实验一开始有点懵，想直接利用正则表达式对网页进行处理，是但发现工作量太大了。幸亏python有很多牛逼的库，而本次实验我就用了BeautifulSoup，不得不夸一句这个库是真的好用。然后本次实验的重点就成了学习并熟练掌握bs4。

我觉得理解这个库的关键是理解DOM树结构(Document Object Model)，这里有个学习网站https://www.jianshu.com/p/0ec77136ec48简单来说一个html文件就是文档节点，其中的标签是元素节点，元素中的文本是文本节点，每个属性是属性节点，注释属于注释节点。

知道DOM后，bs就好理解了，bs有四种对象Tag，NavigableString，BeautifulSoup和Comment。其中BeautifulSoup对应文档节点，Tag对应标签节点，NavigablesString对应文本节点，Comment对应注释节点。

然后讲一下使用流程，一般三步就行了：

(1) 创建BeautifulSoup对象

soup = BeautifulSoup(open(file_src, encoding=encoding(file_src)), "html.parser")

# 第一个参数传HTML文档字符串，第二个参数传HTML解析器，其他可选参数如编码方式等可自己选择

(2)搜索节点

一种是利用点取属性的方式与find()方法，但只能获取第一个一般不用

二是利用soup.find_all()方法

看个实例：

lst = soup.find_all('a',class_='abc')

# 得到是所有class属性为“abc”的...标签的列表

(3)访问节点信息

接着上面的代码，利用lst[i][‘href’]就可以得到标签的“href”属性

步骤大概是这样，还有些细节的东西需要自己在实践中去体会。

E4倒排索引

正排索引是依据文档去找符合要求的词，而倒排索引就是依据词得到文档ID(docID)表，这是为布尔查询做铺垫的。

先讲一下实现倒排索引的基本步骤：

(1)词条序列

就是得到每个文档词项及其对应的docID

(2)排序

将每个词项依据docID排序

(3)词典 & 倒排记录表

词典记录的是词项(Key)对应文档频率(Value)，词典的用处是在进行布尔查询时能先计算比较短的(And操作的效率和倒排索引表的长度有关)。

倒排记录表记录的是词项(Key)对应docID表(Value)

这里要提一句本身倒排记录表是要用链表实现的，但是数据结构还没学，所以就用列表代替了。于是进行布尔查询中的合并倒排索引表就被忽略了，也就是说这个词典在本次实验中没用到。

在完成倒排索引之后就是进行布尔查询。在本次实验中就是对倒排记录表(列表)进行集合操作，这个就很容易实现了，不多赘述。

(第一次写，肯定有很多不足啦。因为这个我是当课程小结来看待的，主要是给自己复习用到。如果有人看了觉得有帮助那最好啦。)

原文链接:https://blog.csdn.net/weixin_46684748/article/details/106538964