![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nutch
杏花暮雨
记录学习的点滴---- 潜龙勿用
展开
-
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-Configuration
2.2 Hadoop Configuration详解分类: Hadoop源码分析 2013-07-18 11:19 1350人阅读 评论(1)收藏 举报2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons转载 2014-04-30 20:17:56 · 462 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-CrawlDatum
详情参见:http://nutch.apache.org/apidocs-1.5/org/apache/nutch/crawl/CrawlDatum.html转载 2014-04-30 20:24:26 · 513 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-Filesystem.get()
java 中使用 FileSystem API 对 HDFS 的操作基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例: public s转载 2014-05-02 14:46:22 · 466 阅读 · 0 评论 -
nutch-1.7-学习笔记(2)-org.apache.nutch.crawl.Generator.java-关于Hadoop的partition
1.解析PartitionMap的结果,会通过partition分发到Reducer上,Reducer做完Reduce操作后,通过OutputFormat,进行输出,下面我们就来分析参与这个过程的类。Mapper的结果,可能送到Combiner做合并,Combiner在系统中并没有自己的基类,而是用Reducer作为Combiner的基类,他们对外的功能是一样的,只是使用的位置和使用时的上转载 2014-05-05 23:27:59 · 388 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl-ToolRunner
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-ToolRunner原创 2014-04-30 20:18:52 · 428 阅读 · 0 评论 -
nutch-1.7-学习笔记(1)-org.apache.nutch.crawl.Injector.java-TreeMap
">公共类TreeMap的">扩展AbstractMap , Cloneable, Serializable">实现NavigableMap ,可克隆,序列化红黑树的基础NavigableMap实现。该地图是根据其键的自然顺序进行排序,或者通过提供创建映射时,这取决于使用的构造方法一比较。此实现提供保证的log(n )时间开销为containsKey,get ,put和删转载 2014-04-30 20:19:51 · 375 阅读 · 0 评论