python实现简易搜索引擎

搜索引擎课程大作业，老师给了几百份带标签的文档，用来做搜索引擎的查询内容，最后查了半天资料决定用python做。基本上就是预处理（去标签）——分词构建索引——查询三个部分。预处理比较简单，把文档的HTML标签去除，不过这里遇到个坑，那就是这些文档里面由好几种编码格式，所以只能解码后重新用utf-8编码，否则会出现乱码，然后为每一个文档建立目录文件（方便查询之后溯源），分词的话就是用jieba包将新闻进行分词，然后用 sqlite3 做数据库构建索引。

最后查询模块就相当于在数据库里面查了，排序用的是TF-IDF，对于小型搜索引擎效率还行。

因为当时交作业比较急，参考了网上的资料 ，有些地方还有些简陋，仅供参考。