hadoop
文章平均质量分 68
cdf861015
这个作者很懒,什么都没留下…
展开
-
Hadoop核心架构内部机理详解
HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能转载 2014-03-03 17:39:36 · 769 阅读 · 0 评论 -
Hadoop科普文——常见的45个问题解答
在工作生活中,有些问题非常简单,但往往搜索半天也找不到所需的答案,在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题,以下为译文:1.Hadoop集群可以运行的3个模式? 单机(本地)模式伪分布式模式全分布式模式 2. 单机(本地)模式中的注意点?在单机模式(standalone)中不会存在守护转载 2014-03-03 17:41:34 · 614 阅读 · 0 评论 -
Hadoop版本变迁
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:Ø高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。Ø高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。Ø高效性。Hadoop能够在节点之间动态地移动数据,并保证各个原创 2014-03-04 21:51:11 · 1386 阅读 · 0 评论 -
从Hadoop1.x集群升级到Hadoop2.x步骤
写在前面的话:为了预防升级过程中出现的各种问题,请你最好在集群升级的过程前先备份好集群namenode的元数据(${HADOOP_HOME}/conf/hdfs-site.xml中的dfs.name.dir所配置的文件夹),以免升级失败带来的损失!1、先看下Hadoop1.x集群上面已有的数据:[wyp@master hadoop-0.20.2-cdh3u4]$ bin/hadoop转载 2014-03-04 21:42:29 · 1204 阅读 · 0 评论 -
hadoop全方位资料整理
一、 Hadoop快速入门 分布式计算开源框架Hadoop_入门实践 http://www.itpub.net/thread-1496298-1-1.html 一篇不错的hadoop介绍文章 http://www.itpub.net/thread-1580626-1-1.html 用 Hadoop 进行分布式数据处理---- 入门 http://www.itpub.net/thread转载 2014-03-04 22:11:52 · 840 阅读 · 0 评论 -
从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤
在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x,那里面只讨论了成功升级,那么如果集群升级失败了,我们该如何从失败中回滚呢?这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后,如何回滚。 1、如果你将Hadoop1.x升级到Hadoop2.x的过程中转载 2014-03-04 21:45:14 · 1042 阅读 · 0 评论 -
Hadoop生态圈中存在的Apache顶级项目
2008年1月,Hadoop成为Apache顶级项目2009年7月,Avro 和 Chukwa 成为Hadoop新的子项目2010年5月,Avro脱离Hadoop项目,成为Apache顶级项目2010年5月,HBase脱离Hadoop项目,成为Apache顶级项目。2010年5月,Mahout脱离Hadoop项目,成为Apache顶级项目。2010年9月,Hive( Faceb原创 2014-03-22 11:50:10 · 1940 阅读 · 0 评论