Hadoop
文章平均质量分 75
chenpingbupt
无聊啊无聊
展开
-
HDFS-HA:Hadoop-Cloudera-cdh4版本的HDFS自动Failover(zk-based-failover)分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 从evernote粘过来的格式还是乱了,文末附上格式良好的原文截图本文基于cloudera-Hadoop-cdh-4.01版本进行分析在这个特定版本支持HA的Hadoop内,FailoverController主要是通过一个独立于NN的进程来完成的,原创 2012-08-29 21:52:58 · 7559 阅读 · 0 评论 -
HDFS Append 设计文档的QA(HDFS-265:Revisit append/Questions about the "Append Design")
转帖请注明来自本空间地址:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com本文是关于Append设计文档中一些设计点的QA,原文的地址已经不记得是从HDFS中的那个Jira上看到的了,可以参考Append设计文档来看:https://issues.apache.org/jira/secure/attachment/124翻译 2012-09-06 22:08:15 · 1951 阅读 · 2 评论 -
Hadoop中HDFS文件系统NameNode的Federation设计文档(HDFS-1052:Hdfs scalability with multiple namenodes)
转帖请注明来自本空间地址:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com原文请参:https://issues.apache.org/jira/browse/HDFS-1052https://issues.apache.org/jira/secure/attachment/12453067/high-level-d翻译 2012-09-27 22:42:16 · 10755 阅读 · 1 评论 -
HDFS发展历史上的几个重大的JIRA
转帖请注明本空间地址:chenpingbupt@gmail.comhttp://blog.csdn.net/chenpingbupt HDFS发展的到现在,已经和从前有了很大的改观,陆续发生了一些比较重大的改变,比如Append的加入,Federation,HA等等。这些改变在hadoop的svn的代码库中也可以看到一些端倪,大部分重大的改变都能在svn代码库中找到对应原创 2012-08-29 21:43:14 · 2939 阅读 · 0 评论 -
Hadoop Metrics体系架构分析
转载请注明来自本空间:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com本文基于Hadoop 0.20.XX版本分析,和现在的Metrics2稍有不同1:概述Hadoop Metrics用来统计集群运行数据,比如接口调用次数,响应时间,队列长度等等,现阶段(0.19版本)支持为数不多的几个层级的数据,分别是原创 2012-09-08 10:11:31 · 5877 阅读 · 0 评论 -
HDFS中的Append/Hflush/Read规范文档(HDFS-265:Revisit append / Append&Hflush&Read Specification)
转帖请注明来自本空间地址:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com原文请参:https://issues.apache.org/jira/secure/attachment/12406399/AppendSpec.pdfhttps://issues.apache.org/jira/browse/HDFS-26翻译 2012-09-04 21:51:39 · 2007 阅读 · 0 评论 -
NameNode的FSImage以及EditLog的简化模型设计文档(HDFS-1073:Simpler model for Namenode's FsImage and EditLogs)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbuptchenpingbutp@gmail.com原文请参:https://issues.apache.org/jira/browse/HDFS-1073https://issues.apache.org/jira/secure/attachment/12478323/hdfs1073.pdf翻译 2012-08-30 22:53:25 · 4970 阅读 · 0 评论 -
NameNode HA自动Failover设计文档(HDFS-3042/HDFS-2185:Automatic failover support for NN HA)
ZKFC设计文档(ZK Failover Controller Design)chenpingbupt@gmail.com转载请注明来自本空间:http://blog.csdn.net/chenpingbupt原文请参:https://issues.apache.org/jira/browse/HDFS-3042https://issues.apache翻译 2012-08-29 22:02:11 · 5505 阅读 · 1 评论 -
Wal log的接口规范设计文档(HDFS-1580:Add interface for generic Write Ahead Logging mechanism)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 原文请参:https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue翻译 2012-08-29 22:26:00 · 1317 阅读 · 0 评论 -
HDFS NameNode HA框架设计文档(HDFS-1623:High Availability Framework for HDFS NN)
转帖请注明来自本空间地址:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com原文请参https://issues.apache.org/jira/browse/HDFS-1623译文如下:1 Problem Statement有很多方式可以使得NN更加的Available,例如:减少启动时间翻译 2012-08-31 22:06:25 · 2983 阅读 · 0 评论 -
Editlog的接口规范设计文档(HDFS-1580:Add interface for generic Write Ahead Logging mechanism)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 原文请参:https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue翻译 2012-08-29 22:22:14 · 1528 阅读 · 0 评论 -
HDFS-HA的配置-----手动Failover方式
转帖请注明来自本空间:http://blog.csdn.net/chenpingbupt 1、配置log的路径(可选)etc/hadoop/hadoop-env.shexport HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logsexport JAVA_HOME=/home/ziang/software/jd原创 2012-08-29 22:10:30 · 6869 阅读 · 1 评论 -
Hadoop-CDH4各个脚本文件的作用
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置原创 2012-08-29 22:18:10 · 3945 阅读 · 0 评论 -
Hadoop-CDH4的部署包的文件结构
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 相关文档可参:https://issues.apache.org/jira/browse/Hadoop-62551、现在的结构比以前的要稍微复杂一些了,如下:ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1$ ls -d */bin/原创 2012-08-29 22:20:19 · 4672 阅读 · 0 评论 -
HDFS-HA的配置-----自动Failover
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、概述在手动FailOver的基础上,自动Failover增加了两个东西:一个是ZooKeeper集群,一个是ZKFailoverController(简称:ZKFC)ZK集群:作为一个高可靠系统,能够为一小部分协同数据提供监控,将数据的更改随时反应给客户端。HD原创 2012-08-29 22:13:03 · 17144 阅读 · 4 评论 -
StandbyService of Standby NameNode------Checkpointer及EditLogTailer分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt NameNode上的service大致分为了三个类别,一个是ActiveService,一个是StandbyServcie,还有一个CommanService。其中ActiveNameNode会启动CommanService和ActiveService,而StandbyNameNode原创 2012-08-29 21:41:18 · 1827 阅读 · 0 评论 -
Hadoop中HDFS文件系统的Append/Hflush/Read设计文档(HDFS-265:Revisit append)
转帖请注明来自本空间地址:http://blog.csdn.net/chenpingbuptchenpingbupt@gmail.com原文请参:https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdfhttps://issues.apache.org/jira/browse/HD翻译 2012-09-12 20:36:26 · 7172 阅读 · 1 评论