ATCO[这里,只是顺手插曲]

KEEP住个势,努力!

nutch 分布式部署 自测

本文档的NUTCH版本为NUTCH1.6 1、首先确认部署目标机子的HADOOP安装运行正常。(其方法不在本文章范围,请参考其它文档) 2、打包发布好NUTCH,修改配置: 这里对于配置的修改只需要修改runtime/deploy/xxx.JOB包里的nutch-site.xml: 爬虫标...

2013-03-29 14:55:30

阅读数 805

评论数 0

JVM内存的设置

一、JVM内存的设置的原理 默认的java虚拟机的大小比较小,在对大数据进行处理时java就会报错:java.lang.OutOfMemoryError。 设置jvm内存的方法,对于单独的.class,可以用下面的方法对Test运行时的jvm内存进行设置。 java -Xms64m -X...

2013-03-29 10:38:29

阅读数 497

评论数 0

web.xml文件详解

Xml代码  Web.xml常用元素       定义了WEB应用的名字    声明WEB应用的描述信息      context-param元素声明应用范围内的初始化参数。    过滤器元素将一个名字与一个实现javax.servlet.Filter接口的类相关联。    ...

2013-03-28 16:12:00

阅读数 470

评论数 0

Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询

1、搭建环境   新建JAVA项目,添加的包有:    有关Hadoop的hadoop-core-0.20.204.0.jar    有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包。 ...

2013-03-08 09:28:57

阅读数 1705

评论数 0

nutch 插件开发[资料整理]

plugin(插件)为nutch提供了一些功能强大的部件,nutch中很多功能都是使用插件实现的,而使用者也可以自行开发更多适合自已的插件。 nutch使用这样的plugin系统有什么好处: 1:可扩展性       通过plugin,nutch允许任何人扩展它的功能,而我们要做的只是对给定的...

2013-03-06 15:04:40

阅读数 4130

评论数 0

提示
确定要删除当前文章?
取消 删除