1 要求
以下是检索的基本要求:可以利用lucene、nutch等开源工具,利用Python、Java等编程语言,但需要分别演示并说明原理。
1.1 Web网页信息抽取
以山东大学新闻网为起点进行网页的循环爬取,保持爬虫在view.sdu.edu.cn之内(即只爬取这个站点的网页),爬取的网页数量越多越好。
1.2 索引构建
对上一步爬取到的网页进行结构化预处理,包括基于模板的信息抽取、分字段解析、分词、构建索引等。
1.3 检索排序
对上一步构建的索引库进行查询,对于给定的查询,给出检索结果,明白排序的原理及方法。
参考文档和完整的文档和源码下载地址: