【源码+文档】sdu视点新闻全站爬虫爬取+索引构建+搜索引擎查询

1 项目简介

1.1项目技术栈

爬虫功能使用Python的scrapy库实现，并用MongoDB数据库进行存储。

索引构建和搜索功能用Python的Whoosh和jieba库实现。（由于lucene是java库，所以pyLucene库的安装极其麻烦，因此选用Python原生库Whoosh实现，并使用jieba进行中文分词。）

搜索网页界面用django实现

1.2基本要求

以下是检索的基本要求：可以利用lucene、nutch等开源工具，利用Python、Java等编程语言，但需要分别演示并说明原理。

• 1. Web网页信息抽取 以山东大学新闻网为起点进行网页的循环爬取，保持爬虫在view.sdu.edu.cn之内（即只爬取这个站点的网页），爬取的网页数量越多越好。
• 1. 索引构建 对上一步爬取到的网页进行结构化预处理，包括基于模板的信息抽取、分字段解析、分词、构建索引等。
• 1. 检索排序 对上一步构建的索引库进行查询，对于给定的查询，给出检索结果，明白排序的原理及方法。

2 运行方式

• 运行sduspider/run.py来进行网络爬虫，这个过程将持续十多个小时，但可以随时终止，在下次运行时继续。

• 运行indexbuilder/index_builder.py来对数据库中的72000条数据构建索引，该过程将持续几个小时，但可以随时终止。

• 如果不熟悉Whoosh库的构建索引和query搜索功能，可以参考运行indexbuilder/sample.py。

• 运行indexbuilder/query.py来测试搜索功能。

• 运行searchengine/run_server.py打开搜索网页服务器，在浏览器中打开127.0.0.1:8000进入搜索页面执行搜索。

源码和文档都托管在了【WRITE-BUG数字空间】上面了，有需要的可自取~