- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一行shell命令搞定在java源文件中添加license信息
这行神奇的命令是: find . -name \*.java -exec sh -c "if ! grep -q 'LICENSE-2.0' '{}';then mv '{}' tmp && cp LICENSEHEADER.txt '{}' && cat tmp >> '{}' && rm tmp;fi" \; 其功能是遍历搜索当前目录（包括子目录）下所有的java文件，如果该java文件中
2012-03-26 12:05:50
3195
原创 Hadoop Namenode HA方案比较
我们来分析一下业界普遍关注的HDFS Namenode高可用解决方案，这些方案的提出无非都是想解决Namenode设计上的单点故障。这些方案按照部署类型可划分为主从(Master-Slave)和集群(Cluster)，其中主从根据状态的一致程度又细分为冷备、温备和热备，按照切换方式可划分为人工切换和自动切换，按照数据同步方式可划分为共享存储和复写。 下图列举了目前HadoopHA方案，接下来我们对
2012-03-23 16:00:42
8364
原创 HDFS改造方案一览
近年来，已经有越来越多的企业参与到Hadoop社区的发展中来，它们对HDFS的改造提出了不同的方案，有的是基于社区版HDFS源码进行改造，比如Cloudera的CDH版本和Facebook的AvatarNode，也有的是参照HDFS重写一套分布式文件系统，比如百度的HDFS2和腾讯的XFS，当然社区也推出了新的版本Hadoop0.23。总的来看，Hadoop 0.23的Federation HDF
2012-03-23 15:48:09
3723
原创 Hadoop-1.0.0 HDFS append操作深入分析
社区版Hadoop 1.0.0中对HDFS append操作进行了重新设计和实现，解决了之前append操作实现的很多缺陷。下图是对HDFS append操作详细的一般分析，该操作涉及到client，namenode和datanode的很多交付，可见其复杂性。 从Client角度来看，append一个文件首先需要调用DistributedFileSystem的append
2012-03-05 15:35:12
3880
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人