![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搜索引擎和算法
wudywind
我是程序猿
展开
-
Nutch爬虫工作流程及文件格式详细分析
Nutch主要分为两个部分:爬虫crawler和查询searcher。Crawler主要用于从网络上抓取网页并为这些网页建立索引。Searcher主要利用这些索引检索用户的查找关键词来产生查找结果。两者之间的接口是索引,所以除去索引部分,两者之间的耦合度很低。 Crawler和Searcher两部分尽量分开的目的主要是为了使两部分可以分布式配置在硬件平台上,例如将Crawler和Se转载 2009-03-13 16:42:00 · 3733 阅读 · 1 评论 -
Nutch 0.8笔记--Google式的搜索引擎实现
作者:江南白衣 Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中。 Nutch 0.8 完全使用Hadoop重写了骨干代码,另有很多地方作了合理化修正,非常值得升级。1.Nutch 0.8 的安装与运行nutc转载 2009-03-13 16:48:00 · 432 阅读 · 0 评论 -
开源搜索引擎Nutch 0.9的安装使用
Nutch是Apache组织的一个开源项目,利用它用户可以 建立自己内部网的搜索引擎,也可以建立针对整个网络的搜索引擎。一、Linux下的安装使用 (我使用的操作系统是red hat as4) 1.安装JDK,我安装的是JDK1.5 update11,安装方法到网上搜 2.安装TOMCAT,我安装的是tomcat5.5.23,安装方法到网上搜,输入http://127.0.0.1:8080出转载 2009-03-13 22:41:00 · 463 阅读 · 0 评论 -
实现NUTCH中文分词的代码修改方法
实现NUTCH中文分词的代码修改方法 此处我修改的nutch版本是0.7.2 现在实现基本中文分词功能的代码和软件模块很多,性能也还可以,但是怎样将其应用到NUTCH中的方法介绍相对较少,下面我就实现NUTCH中文分词的NUTCH代码修改方法与步骤,抛砖引玉的介绍一下。 代码修改的切入点是通过对NUTCH处理中文的切分器Token转载 2009-03-13 22:51:00 · 1097 阅读 · 0 评论