![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop 权威指南读书笔记
山上的太阳
这个作者很懒,什么都没留下…
展开
-
hadoop 负载均衡
hadoop 将MR的输入数据划分成等长的小数据块,称为输入分片,hadoop为每个分片构建一个map任务。拥有许多分片,意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。因此,如果我们并行处理每个分片,切每个分片数据比较小,那么整个处理过程将获得更好的负载均衡,因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多,且成一定的比例。即使使用相同的机器,处理失败的作业或其他同时运原创 2015-12-13 16:23:35 · 837 阅读 · 0 评论 -
hadoop HA配置文件说明
HA集群需要使用nameservice ID区分一个HDFS集群。另外,HA中还要使用一个词,叫做NameNode ID。同一个集群中的不同NameNode,使用不同的NameNode ID区分。为了支持所有NameNode使用相同的配置文件,因此在配置参数中,需要把“nameservice ID”作为NameNode ID的前缀。 HA配置内容是在文件hdfs-site.xml中转载 2016-01-19 12:17:11 · 1312 阅读 · 0 评论 -
hadoop三个配置文件的参数含义说明
该文档转自:http://blog.csdn.net/yangjl38/article/details/75833741 获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个had转载 2016-01-19 14:32:31 · 572 阅读 · 0 评论 -
Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
Hadoop 2.0 HA架构图:FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。转载 2016-01-21 15:40:37 · 832 阅读 · 0 评论 -
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装
本文转自:http://blog.csdn.net/onepiecehuiyu/article/details/45271493安装hadoop2.6+HA1.准备一台CentOS6.4系统2.环境CentOS6.4 共5台机器名 ip地址 安装软件 运行进程 master1 192.168.3.141 hadoop、Zookeeper、hbase转载 2016-01-21 16:04:12 · 886 阅读 · 0 评论 -
Hadoop2分布式及NN和RM实现HA的实验
本文转自:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/?utm_source=tuicool&utm_medium=referral[一]、 引言在Hadoop2.x初期的时候写过一篇 hadoop 2.2.0 集群模式安装配置和测试,记录了分布式搭建的最基本的搭建步骤和运行演示,那篇文转载 2016-01-21 16:53:40 · 1021 阅读 · 0 评论 -
NameNode HA配置详解
HDFS 集群中NameNode 存在单点故障(SPOF )。对于只有一个NameNode 的集群,如果NameNode 机器出现意外downtime,那么整个集群将无法使用,直到NameNode 重新启动。HDFS 的HA 功能通过配置Active/Standby 两个NameNodes 实现在集群中对NameNode 的热备来解决上述问题。如果出现Active NN的downtime,就会切换转载 2015-12-25 15:54:41 · 2865 阅读 · 0 评论 -
hadoop 使用HA后java api连接获取 FileSystem
所需要配置的参数: Configuration conf = newConfiguration(); conf.set("fs.defaultFS","hdfs://hadoop2cluster"); conf.set("dfs.nameservices","hadoop2cluster"); conf.set("dfs.ha.name原创 2015-12-25 17:18:11 · 3442 阅读 · 0 评论