nutch
eckoqzhang
爱熬夜开发的攻城狮
展开
-
hadoop启动问题
环境:CentOS+Hadoop 1.2.1 Error occurred during initialization of VM Could not reserve enough space for object heap Error: Could not create the Java Virtual Machine. Error: A fatal exception has原创 2014-07-02 09:54:32 · 406 阅读 · 0 评论 -
CentOS 6.5 eclipse导入nutch-1.4
1.下载nutch包,如果是src包,则需要ant编译原创 2014-06-13 21:15:28 · 463 阅读 · 0 评论 -
nutch-1.4在eclipse中运行
1.选中nutch所在eclipse中的工程,新建一个文件夹urls原创 2014-06-13 21:50:31 · 436 阅读 · 0 评论 -
Nutch插件机制分析
引言 Nutch使用的插件机制是其所有功能的核心,所有的扩展功能包括页面分析parse、页面评分scoring、url过滤urlFilter、分词analyzer等搜索引擎的核心功能都是通过插件机制实现的。插件机制的有点有如下几点: 可扩展能力(Extensibility) 插件机制允许任何人扩展Nutch的功能,而且开发扩展的门槛很低,开发者仅仅需要实现特定的接口来实现自己的功能。转载 2014-07-07 09:59:39 · 466 阅读 · 0 评论 -
Nutch插件开发(资料整理)
plugin(插件)为nutch提供了一些功能强大的部件,nutch中很多功能都是使用插件实现的,而使用者也可以自行开发更多适合自已的插件。 nutch使用这样的plugin系统有什么好处: 1:可扩展性 通过plugin,nutch允许任何人扩展它的功能,而我们要做的只是对给定的接口做简单的实现,举个例子:我们在NUTCH里使用LOADBALANCE进行下载的插件,它就是一个对p转载 2014-07-07 11:25:41 · 426 阅读 · 0 评论