- 博客(16)
- 资源 (3)
- 收藏
- 关注
原创 HDFS发展历史上的几个重大的JIRA
转帖请注明本空间地址:[email protected]://blog.csdn.net/chenpingbupt HDFS发展的到现在,已经和从前有了很大的改观,陆续发生了一些比较重大的改变,比如Append的加入,Federation,HA等等。这些改变在hadoop的svn的代码库中也可以看到一些端倪,大部分重大的改变都能在svn代码库中找到对应
2012-08-29 21:43:14 2920
原创 Lucene Score
转帖请注明本空间地址:http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的,应该基于lucene3.0左右的版本,主要包括一些lucene打分,索引文件格式图,倒排索引过程,query解析,doc定位过程,打分过程等等,用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。这个博客不知道怎
2012-08-31 23:01:14 807
原创 Lucene索引文件结构图之一(tis&tii&frq)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的,应该基于lucene3.0左右的版本,主要包括一些lucene打分,索引文件格式图,倒排索引过程,query解析,doc定位过程,打分过程等等,用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:59:01 1173
原创 Lucene索引文件结构图之一(segments&fnm&fdx&fdt)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的,应该基于lucene3.0左右的版本,主要包括一些lucene打分,索引文件格式图,倒排索引过程,query解析,doc定位过程,打分过程等等,用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:57:47 1680
原创 Lucene索引文件结构图之一(prx&nrm&tvx&tvd&del&tvf)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的,应该基于lucene3.0左右的版本,主要包括一些lucene打分,索引文件格式图,倒排索引过程,query解析,doc定位过程,打分过程等等,用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:55:04 1570
翻译 HDFS NameNode HA框架设计文档(HDFS-1623:High Availability Framework for HDFS NN)
转帖请注明来自本空间地址:http://blog.csdn.net/[email protected]原文请参https://issues.apache.org/jira/browse/HDFS-1623译文如下:1 Problem Statement有很多方式可以使得NN更加的Available,例如:减少启动时间
2012-08-31 22:06:25 2946
翻译 NameNode的FSImage以及EditLog的简化模型设计文档(HDFS-1073:Simpler model for Namenode's FsImage and EditLogs)
转帖请注明本空间地址:http://blog.csdn.net/[email protected]原文请参:https://issues.apache.org/jira/browse/HDFS-1073https://issues.apache.org/jira/secure/attachment/12478323/hdfs1073.pdf
2012-08-30 22:53:25 4914
翻译 Wal log的接口规范设计文档(HDFS-1580:Add interface for generic Write Ahead Logging mechanism)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 原文请参:https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue
2012-08-29 22:26:00 1295
翻译 Editlog的接口规范设计文档(HDFS-1580:Add interface for generic Write Ahead Logging mechanism)
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 原文请参:https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue
2012-08-29 22:22:14 1508
原创 Hadoop-CDH4的部署包的文件结构
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 相关文档可参:https://issues.apache.org/jira/browse/Hadoop-62551、现在的结构比以前的要稍微复杂一些了,如下:ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1$ ls -d */bin/
2012-08-29 22:20:19 4657
原创 Hadoop-CDH4各个脚本文件的作用
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置
2012-08-29 22:18:10 3927
原创 HDFS-HA的配置-----自动Failover
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 1、概述在手动FailOver的基础上,自动Failover增加了两个东西:一个是ZooKeeper集群,一个是ZKFailoverController(简称:ZKFC)ZK集群:作为一个高可靠系统,能够为一小部分协同数据提供监控,将数据的更改随时反应给客户端。HD
2012-08-29 22:13:03 17088 4
原创 HDFS-HA的配置-----手动Failover方式
转帖请注明来自本空间:http://blog.csdn.net/chenpingbupt 1、配置log的路径(可选)etc/hadoop/hadoop-env.shexport HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logsexport JAVA_HOME=/home/ziang/software/jd
2012-08-29 22:10:30 6845 1
翻译 NameNode HA自动Failover设计文档(HDFS-3042/HDFS-2185:Automatic failover support for NN HA)
ZKFC设计文档(ZK Failover Controller Design)[email protected]转载请注明来自本空间:http://blog.csdn.net/chenpingbupt原文请参:https://issues.apache.org/jira/browse/HDFS-3042https://issues.apache
2012-08-29 22:02:11 5451 1
原创 HDFS-HA:Hadoop-Cloudera-cdh4版本的HDFS自动Failover(zk-based-failover)分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt 从evernote粘过来的格式还是乱了,文末附上格式良好的原文截图本文基于cloudera-Hadoop-cdh-4.01版本进行分析在这个特定版本支持HA的Hadoop内,FailoverController主要是通过一个独立于NN的进程来完成的,
2012-08-29 21:52:58 7536
原创 StandbyService of Standby NameNode------Checkpointer及EditLogTailer分析
转帖请注明本空间地址:http://blog.csdn.net/chenpingbupt NameNode上的service大致分为了三个类别,一个是ActiveService,一个是StandbyServcie,还有一个CommanService。其中ActiveNameNode会启动CommanService和ActiveService,而StandbyNameNode
2012-08-29 21:41:18 1804
Java Concurrency in Practice, By Brian Goetz.pdf
2015-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人