Centos 编译安装Nutch2.x 入坑指南(1)

之前在树莓派的raspbian系统上安装过Nutch1.x

http://blog.csdn.net/a897180673/article/details/78387375

后来继续学习的时候,发现nutch2.x 和1.x不一样了,改变了很多,支持Mysql了,而且Nutch2.x 需要自己编译安装,入了很多坑

先说总览:

最绝望的坑是这个
这里写图片描述

[ivy:resolve] :: Ivy 2.2.0 - 20100923230623 :: http://ant.apache.org/ivy/ ::
[ivy:resolve] :: loading settings :: file = /root/nutch2.2.1/apache-nutch-2.2.1/ivy/ivysettings.xml

一直卡在这里不动,都以为他死掉了,就在我打算快按下ctrl+C 的时候,他突然动了,差点没安装成功. 大概等3min左右才动.

然后动了 就开始跑进度条,吃过饭回来看了一下还在跑,跑完结束,下面有个提示.尼玛,35min.整个安装过程 确实挺长的.

这里写图片描述

这个还不是最坑的,我爬取数据存到Mysql数据可的时候,老是报错

ClassNotFoundException:com.mysql.jdbc.Driver

明明已经在配置文件中支持了啊,删除了重新编译还是如此,头疼

最后没办法 把连接数据库的JDBC代码 在windows上跑一遍,终于找到问题了

原来是/conf/gora.properties 配置数据库 用户名 密码 url 的时候 后面多了几个空格

巨坑,搞了一下午,才发现问题,复制下面的配置需谨慎.

参考:http://blog.csdn.net/maoersong/article/details/52201812

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
<p>Nutch的创始人是Doug Cutting,他同时也是Lucene、Hadoop和Avro开源项目的创始人。</p><p>Nutch诞生于2002年8月,是Apache旗下的一个用Java实现的开源搜索引擎项目,自Nutch1.2版本之后,Nutch已经从搜索引擎演化为网络爬虫,接着Nutch进一步演化为两大分支版本:1.X和2.X,这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。</p><p>在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本,Gora支持把大数据持久化到多种存储实现,Crawler Commons是一个通用的网络爬虫组件。</p><p>大数据这个术语最早的引用可追溯到Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。现在,大数据的含义已经被极大地发展了,业界将大数据的特性归纳为4个“V”。Volume数据体量巨大,Variety数据类型繁多,Value价值密度低,商业价值高,Velocity处理速度快。</p><p>Hadoop是大数据的核心技术之一,而Nutch集Hadoop之大成,是Hadoop的源头。学习Hadoop,没有数据怎么办?用Nutch抓!学了Hadoop的Map Reduce以及HDFS,没有实用案例怎么办?学习NutchNutch的很多代码是用Map Reduce和HDFS写的,哪里还能找到比Nutch更好的Hadoop应用案例呢?</p>
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值