- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop-2.2.0学习之三YARN简介
MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的ApplicationMaster (AM)。一个应用程序或者是从经典MapRe
2014-01-13 10:22:47
3976
原创 Hadoop-2.2.0学习之二HDFS联盟
在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构，有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图，如下所示。 从上面的结构可以看出，HDFS主要包括两层：Namespace（命名空间）和块存储（BlockStorage）。命名空间由目录、文件和块组成，支持文件系统相关的所有命名空间操
2014-01-08 10:10:39
4403
原创 Hadoop-2.2.0学习之一Hadoop-2.2.0变化简介
Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病的地方之一。为了水平的扩展NameNode服务，在2.x版
2014-01-06 13:00:05
3897
2
原创 Nutch-2.2.1学习之九Nutch过滤URL实践
通过分析Nutch的配置文件Nutch-default.xml和阅读了部分源代码后，了解了Nutch的插件机制以及如何通过修改conf中的文件实现过滤抓取数据。默认情况下，实现URL过滤的类为RegexURLFilter，对应的过滤文件为regex-urlfilter.txt，在不修改该文件的情况下，Nutch可以过滤后缀以gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|C
2014-01-04 20:14:25
6803
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人