nutch
IT_zlChen
这个作者很懒,什么都没留下…
展开
-
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-Configuration
2.2 Hadoop Configuration详解 2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用org.apache.转载 2014-07-24 14:57:01 · 320 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-ToolRunner
http://blog.csdn.net/gubaohua/article/details/575488public class SimpleDateFormat extends DateFormatSimpleDateFormat 是一个以国别敏感的方式格式化和分析数据的具体类。 它允许格式化 (date -> text)、语法分析 (text -> date)和标准化。Simple转载 2014-07-24 14:59:13 · 269 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-TreeMap
">公共类TreeMap的">扩展AbstractMap , Cloneable, Serializable">实现NavigableMap ,可克隆,序列化红黑树的基础NavigableMap实现。该地图是根据其键的自然顺序进行排序,或者通过提供创建映射时,这取决于使用的构造方法一比较。此实现提供保证的log(n )时间开销为containsKey,get ,put和删转载 2014-07-24 15:00:33 · 330 阅读 · 0 评论 -
nutch-1.7-学习笔记(2)-org.apache.nutch.crawl.Generator.java-关于Hadoop的partition
学习到nutch的generator 不太懂的地方一遍google一边看书以下内容转载1.解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是转载 2014-07-24 15:03:02 · 353 阅读 · 0 评论