信息检索-搜索引擎的搭建（Lucene）

搜索引擎为信息检索课程的实验设计，爬取山东大学新闻网，使用lucene等开源工具搭建小型搜索引擎。

要求 :

1. Web网页信息抽取
   以山东大学新闻网为起点进行网页的循环爬取，保 持爬虫在 view.sdu.edu.cn之内(既只爬取这个站点的网页)，爬取的网页数量越多越好。

2. 索引构建
   对上一步爬取到的网页进行结构化预处理，包括基于模板的信息抽取、分字段解析、分词、构建索引等。

3. 检索排序
   对上一步构建的索引库进行查询，对于给定的查询，给出检索结果，明白排序的原理及方法。

4. 检索评价
   对于给定的测试查询，利用百度的检索结果作为基准，对自己的检索结果进行评价，计算自己结果的查准率、查全率、F1值。

开发工具

• Eclipse jdk1.8
• Tomcat 7.0
• Lucene4.3
• python3.6

代码资源地址：https://download.csdn.net/download/yyhui95/10918988

设计方案与过程

1. 信息爬取

爬取策略与分析

通过分析发现，山大新闻网的新闻都通过分类存放在首页上方的的二级导航中，首先，我们只爬取二级导航。

之后进入其中的一个二级导航，发现新闻在其中一条条的罗列出来，会有很多页，每一页都有，那么，我们只要获取页数，进行分页爬取，即可获取所有的新闻内容链接。

通过对新闻链接的比较发现，新闻页的链接形式为