Hadoop-CDH-V4.0
文章平均质量分 82
chenpingbupt
无聊啊无聊
展开
-
HDFS-HA的配置-----自动Failover
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、概述在手动FailOver的基础上,自动Failover增加了两个东西:一个是ZooKeeper集群,一个是ZKFailoverController(简称:ZKFC)ZK集群:作为一个高可靠系统,能够为一小部分协同数据提供监控,将数据的更改随时反应给客户端。HD原创 2012-08-29 22:13:03 · 17088 阅读 · 4 评论 -
Hadoop-CDH4的部署包的文件结构
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 相关文档可参:https://issues.apache.org/jira/browse/Hadoop-62551、现在的结构比以前的要稍微复杂一些了,如下:ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1$ ls -d */bin/原创 2012-08-29 22:20:19 · 4657 阅读 · 0 评论 -
Hadoop-CDH4各个脚本文件的作用
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置原创 2012-08-29 22:18:10 · 3927 阅读 · 0 评论 -
HDFS-HA的配置-----手动Failover方式
转帖请注明来自本空间:http://blog.csdn.net/chenpingbupt 1、配置log的路径(可选)etc/hadoop/hadoop-env.shexport HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logsexport JAVA_HOME=/home/ziang/software/jd原创 2012-08-29 22:10:30 · 6845 阅读 · 1 评论 -
HDFS-HA:Hadoop-Cloudera-cdh4版本的HDFS自动Failover(zk-based-failover)分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 从evernote粘过来的格式还是乱了,文末附上格式良好的原文截图本文基于cloudera-Hadoop-cdh-4.01版本进行分析在这个特定版本支持HA的Hadoop内,FailoverController主要是通过一个独立于NN的进程来完成的,原创 2012-08-29 21:52:58 · 7536 阅读 · 0 评论 -
StandbyService of Standby NameNode------Checkpointer及EditLogTailer分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt NameNode上的service大致分为了三个类别,一个是ActiveService,一个是StandbyServcie,还有一个CommanService。其中ActiveNameNode会启动CommanService和ActiveService,而StandbyNameNode原创 2012-08-29 21:41:18 · 1804 阅读 · 0 评论 -
HDFS Append 设计文档的QA(HDFS-265:Revisit append/Questions about the "Append Design")
转帖请注明来自本空间地址:http://blog.csdn.net/[email protected]本文是关于Append设计文档中一些设计点的QA,原文的地址已经不记得是从HDFS中的那个Jira上看到的了,可以参考Append设计文档来看:https://issues.apache.org/jira/secure/attachment/124翻译 2012-09-06 22:08:15 · 1921 阅读 · 2 评论