2016年05月_Mr-稻帅

09月 08月 05月

原创 hbase-0.98.19在centos下面编译

有很长一段时间没有写博客了。。。最近因为项目上的一些需要，开始研究起了Nutch。参照一下文章:nutch系列文章也是因为nutch的缘故，才开始看起了hbase，hbase其实是依赖hadoop的，关于hadoop的编译安装问题，可以参考：【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源码本人此次编译的是2.7.2版本，方式跟上面一样的。1、下载hba

2016-05-14 12:40:19 904

原创 nutch解决编译后java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfigura的问题

本文章接nutch系列2——nutch2.x的编译、安装和配置前面讲了nutch的编译安装和配置，接下来就是使用nutch：在命令行执行：nutch inject urls -crawlId web 如下：报错了！！！！查了官方文档，是nutch的一个bugIn addition add the missing hbase-common-0.98.8-hadoop2.jar transi

2016-05-12 13:23:01 3221

原创 nutch系列2——nutch2.x的编译、安装和配置

这篇文章接上一节：nutch系列1——nutch简单介绍准备工作： 1、JDK环境，参考：http://blog.csdn.net/enson16855/article/details/8708574 2、ant环境，参考：http://blog.csdn.net/enson16855/article/details/51375855关于nutch的介绍，这个就不用多说啦，这边讲解的是nutch

2016-05-11 16:57:18 2490

原创 Linux下安装apache-ant环境

首先来介绍一下ant，Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，大多用于Java环境中的软件开发。 ——摘自百度百科准备工作： JDK环境正常，参考：http://blog.csdn.net/enson16855/article/details/87085741、下载ant；

2016-05-11 16:40:52 7524

原创 nutch系列1——nutch简单介绍

Nutch起源于ApacheLucene项目，已经是一个高度可扩展和可伸缩的开源网络爬虫软件项目，并且实现了多元化，包括两个版本的代码库，即： 1.Nutch1.x版本：一个成熟的产品化的爬虫。1.x版本依赖于Apache Hadoop的数据结构，并使用了细粒度配置。Hadoop对于批处理提供了很强大的功能。

2016-05-11 16:24:57 1036