苍茫大地的专栏

IBM Hadoop分布式并行编程系列： 第一部分： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/ 第二部分： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/ 第三部分： http://www.ibm.co

来源：http://www.open-open.com/lib/view/open1328670771405.html 1、Apache Nutch    Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。 1.1、Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetch

来源：http://www.open-open.com/lib/view/open1328536842327.html 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/co

来源：http://www.open-open.com/lib/view/open1328755683796.html   Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分