- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 一行shell命令搞定在java源文件中添加license信息
这行神奇的命令是: find . -name \*.java -exec sh -c "if ! grep -q 'LICENSE-2.0' '{}';then mv '{}' tmp && cp LICENSEHEADER.txt '{}' && cat tmp >> '{}' && rm tmp;fi" \; 其功能是遍历搜索当前目录(包括子目录)下所有的java文件,如果该java文件中
2012-03-26 12:05:50 3195
原创 Hadoop Namenode HA方案比较
我们来分析一下业界普遍关注的HDFS Namenode高可用解决方案,这些方案的提出无非都是想解决Namenode设计上的单点故障。这些方案按照部署类型可划分为主从(Master-Slave)和集群(Cluster),其中主从根据状态的一致程度又细分为冷备、温备和热备,按照切换方式可划分为人工切换和自动切换,按照数据同步方式可划分为共享存储和复写。 下图列举了目前HadoopHA方案,接下来我们对
2012-03-23 16:00:42 8364
原创 HDFS改造方案一览
近年来,已经有越来越多的企业参与到Hadoop社区的发展中来,它们对HDFS的改造提出了不同的方案,有的是基于社区版HDFS源码进行改造,比如Cloudera的CDH版本和Facebook的AvatarNode,也有的是参照HDFS重写一套分布式文件系统,比如百度的HDFS2和腾讯的XFS,当然社区也推出了新的版本Hadoop0.23。总的来看,Hadoop 0.23的Federation HDF
2012-03-23 15:48:09 3723
原创 Hadoop-1.0.0 HDFS append操作深入分析
社区版Hadoop 1.0.0中对HDFS append操作进行了重新设计和实现,解决了之前append操作实现的很多缺陷。下图是对HDFS append操作详细的一般分析,该操作涉及到client,namenode和datanode的很多交付,可见其复杂性。 从Client角度来看,append一个文件首先需要调用DistributedFileSystem的append
2012-03-05 15:35:12 3880
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人