linux下nutch2.3安装和编译

原创 2015年07月06日 18:54:32
首先从官网上下载nutch2.3.
安装前要现在linux系统中配置环境:
<1>jdk1.7
<2>ant
<3>要保证linux系统能够联网。

jdk和ant的安装方法,都是使用tar -zxvf xxxx解压缩之后,配置一下环境变量JAVA_HOME,ANT_HOME。
然后java -version , ant -vesion 测试一下。

解压缩nutch2.3。
进入到nutch根目录


此时运行ant编译
#ant


在上面这一步可能会卡一会,表急,网络问题。等个几分钟就好了。如果长时间没反应,那么ctrl+c退出后重新输入
#ant编译,多试几次,多等等就ok了。
编译过程中如果有error那么就会中止。此时要对照报错信息区排错。
网上有些教程会在这里更改ivysetting.xml的配置文件。笨小葱一开始照着改了,发现有问题,有一些架包已经404了
。所以建议大家还是不要改动,直接编译,是可以顺利通过的,时间稍微久一点而已。(正常,笨小葱编译2次,都差不多半小时左右)

编译完成后会提示build successful  。在目录下会生成runtime文件,这里面就是编译好的nutch,nutch和crawl命令就在里面






【Nutch2.2.1基础教程之6】Nutch2.2.1抓取流程

一、抓取流程概述 1、nutch抓取流程 当使用crawl命令进行抓取任务时,其基本流程步骤如下: (1)InjectorJob 开始第一个迭代 (2)GeneratorJob (3)FetcherJ...

【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】

1、下载相关软件,并解压 版本号如下: (1)apache-nutch-2.2.1 (2) hadoop-1.2.1 (3)hbase-0.92.1 (3)solr-4.9.0 并解压至/usr...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

Nutch2.3 + Hbase 配置到爬行

准备工作:JDK、Hbase、Ant、Nutch 安装JDK(JDK8) 如果你已经安装JDK跳过此步骤 $:cd /usr/local $:wget http:...

ant编译apache-nutch-2.3.1结合mysql实现爬虫

1 、安装ant(省略)目前官方2.x只提供了源码下载,不再提供编译的版本,需要用户自己去编译。2 下载nutch2.1 下载地址:http://www.apache.org/dyn/cl...

nutch2.3.1在ubuntu14.04下的配置及编译过程

搜索引擎 nutch2.3.1 编译 配置 底层存储HBase

Nutch-2.2.1学习之二编译部署Nutch及常见问题

Nutch1.x从1.7版本开始不再提供完整的部署文件,只提供源代码文件及相关的build.xml文件,这就要求用户自己编译Nutch,而整个Nutch2.x版本都不提供编译完成的文件,所以想要学习N...

编译安装nutch2.3和hbase0.98.8集成

nutch2.3版本官网默认支持的hbase是0.94.14版本,如需升级hbase到更新版本,则需要修改gora的版本到0.6或以上。由于nutch2.3版本还是比较新的,网上安装nutch2.3的...

Linux下的Nutch 1.4 安装配置

Linux下的Nutch 1.4 安装配置  Nutch,一个爬虫或者搜索引擎(加上索引的话)。 现在Nutch的最新版本是Nutch2.0,但是还没有bin版本,只有src版本。Nutch所...

linux下nutch的安装配置

Nutch,一个爬虫或者搜索引擎(加上索引的话)。 现在Nutch的最新版本是Nutch2.1。Nutch所有的版本可在这个网址下载http://archive.apache.org/dist/nu...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:linux下nutch2.3安装和编译
举报原因:
原因补充:

(最多只允许输入30个字)