nutch
三劫散仙
唯有学习,可以解忧
展开
-
nutch1.6+solr3.6的在win7下入门部署
1,在windows平台下,使用nutch,得需要cygwin工具作为其模拟linux的运行环境,cygwin在这里的安装就不多说了,可以到[url]http://www.cygwin.com/[/url]下下载,直接点击setup.exe即可下载,然后就点下一步下一步安装就可以了。2,安装完cygwin,确定配置好环境变量,可以输入cygcheck -c cygwin查看版本[img...原创 2013-06-17 16:03:09 · 189 阅读 · 0 评论 -
Cygwin模拟Linux在windows下的镜像安装
[b][size=x-large][color=red]Cygwin是一款优秀的软件,因其能在windows上模拟Linux环境,从而给我们测试某些开发程序带来极大的方便,省去了安装虚拟机的琐碎事情,也大大的节约了计算机内存和CPU的开销,所以,我们有必要了解一下它,如果是用Linux开发的道友们,也可以参考下。[/color][/size][/b][b][size=x-large]笔者,...原创 2013-07-06 12:50:23 · 168 阅读 · 0 评论 -
Nutch1.8+Hadoop1.2+Solr4.3分布式集群配置
[b][color=green][size=large]Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后,已经不再适合这样描述Nutch了,因为在1.2版本之后,Nutch专注的只是爬取数据,而全文检索的部分彻底的交给Lucene和Solr,ES来做了,当然因为他们都是近亲关系,所...2014-05-14 18:08:32 · 117 阅读 · 0 评论 -
How to make nutch run in eclipse ?
[b][color=green][size=large]Nutch是一个优秀的开源的数据爬取框架,我们只需要简单的配置,就可以完成数据爬取,当然,Nutch里面也提供了很灵活的的插件机制,我们随时都可以对它进行二次开发,以满足我们的需求,本篇散仙,先来介绍下,如何在eclipse里面以local模式调试nutch,只有在eclipse里面把它弄清楚了,那么,我们学习起来,才会更加容易,因为,目前大...2014-05-20 16:46:57 · 135 阅读 · 0 评论 -
Nutch1.8插件编译步骤
[b][color=green][size=large]Nutch的架构,采用了非常灵活的插件模式,大部分的核心功能,都可以通过组装插件的方式的来完成。如果想熟悉具体的nutch插件运行的机制,可以参考下nutch的官方wiki,今天散仙,主要来介绍下,怎么在nutch里,添加我们自己的插件。[/size][/color][/b][b][color=olive][size=large]...2014-05-21 19:15:30 · 123 阅读 · 0 评论