3 系统设计
3.1 农业垂直搜素引擎体系结构
由于垂直搜索引擎只对主题进行索引，所以在网络爬虫部分需要做普通搜索引擎所没有的URL过滤。另外在提取信息与普通的搜索引擎不同，这里需要对html页面进行解析，并只提取指定的文章标题，时间和正文。
图3-1 农业垂直搜索引擎体系架构图
由图3-1可知，本系统包含的模块有：爬虫机器人模块，文本处理模块，数据搜索与更新模块，索引与检索模块，搜索模块和web
该博客介绍了农业垂直搜索引擎的体系结构，包括爬虫机器人模块、数据更新模块、索引与检索模块、搜索与更新模块以及Web客户端模块。系统采用Heritrix进行爬取，利用Lucene和Solr进行索引和检索，强调了各模块的功能和数据处理流程。
最低0.47元/天 解锁文章
扫一扫
1327
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
