搜索引擎为信息检索课程的实验设计,爬取山东大学新闻网,使用lucene等开源工具搭建小型搜索引擎。
要求 :
Web网页信息抽取
以山东大学新闻网为起点进行网页的循环爬取,保 持爬虫在 view.sdu.edu.cn之内(既只爬取这个站点的网页),爬取的网页数量越多越好。索引构建
对上一步爬取到的网页进行结构化预处理,包括基于模板的信息抽取、分字段解析、分词、构建索引等。检索排序
对上一步构建的索引库进行查询,对于给定的查询,给出检索结果,明白排序的原理及方法。检索评价
对于给定的测试查询,利用百度的检索结果作为基准,对自己的检索结果进行评价,计算自己结果的查准率、查全率、F1值。
开发工具
- Eclipse jdk1.8
- Tomcat 7.0
- Lucene4.3
- python3.6
代码资源地址:https://download.csdn.net/download/yyhui95/10918988
设计方案与过程
1. 信息爬取
爬取策略与分析
通过分析发现,山大新闻网的新闻都通过分类存放在首页上方的的二级导航中,首先,我们只爬取二级导航。
之后进入其中的一个二级导航,发现新闻在其中一条条的罗列出来,会有很多页,每一页都有,那么,我们只要获取页数,进行分页爬取,即可获取所有的新闻内容链接。
通过对新闻链接的比较发现,新闻页的链接形式为