- 博客(6)
- 资源 (11)
- 收藏
- 关注
转载 Nutch 2.0 之 抓取流程简单分析 .
[+]整体流程InjectorJob分析GeneratorJob 源代码分析FetcherJob 源代码分析ParserJob 代码分析DbUpdaterJob 代码分析SolrIndexerJob 代码分析总结Nutch 2.0 抓取流程介绍---------------------1. 整体流程InjectorJob => GeneratorJob =>
2012-11-07 23:16:25 1557
转载 nutch2.1 部署异常集合
最近工作中遇到瓶颈,主要是没有很好的理解nutch从而使之效率低下,现在要对nutch进行优化,以后也会记录下在学习nutch的时候所遇到的问题。首先x point org.apache.nutch.net.URLNormalizer not found. 这是在运行nutch的时候报出的异常。我们可以发现和URLNormalizer这个有关,URLNormalizer是nutch在inject的
2012-11-07 23:14:46 3996 1
转载 Hadoop Failed to set permissions of path 错误处理
nutch调试时出现的异常。Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-4954228\.staging to 0700 at org.apache.hadoo
2012-11-06 23:11:30 16310 14
转载 Ant+Ivy快速起步 .
有了Ivy的帮忙,我们不需要为了一个库依赖管理而舍弃Ant去学那个难搞的Maven了。 基本配置步骤如下: 1、copy Ivy插件(见附件)到ant_home/lib下; 2、在项目根目录下新建ivysettings.xml; 3、在项目根目录下新建ivy.xml,内容根据项目需要来; 4、修改你原来的build.xml,如下: Java代码 增加ivy需要的属性:
2012-11-06 13:22:49 3144
转载 build.xml详解
==============================hello-ant项目,学习ant工具的build file。参照ant的jakarta-ant-1.6alpha的buil.xml==============================-->文档结构为:全局变量的定义...任务组(tasks)一项javac任务...一项其它任
2012-11-06 12:42:42 1525
转载 ant+ivy完成项目初始化,编译,单元测试,打包,部署
ant相信大家都不陌生,通过为项目配置相应的build.xml,通过ant执行可以完成项目初始化等相对繁琐甚至浪费时间的工作。下面回顾一下ant的配置,由于ant是跨平台的,所以下面的配置方法在不同的系统上应用基本是相同的。 首先在Apache的官网上下载ant的压缩包,我这边用的是apache-ant-1.8.4。将文件解压到指定目录,如D:\Program Files\apache
2012-11-06 12:35:44 4200
Failed to set permissions of path: \tmp\hadoop-Administrator
2012-11-06
Struts标记库.doc
2010-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人