HDFS资源管理器源码发布

Hadoop对于从事分布式存储工作的朋友应该并不陌生（如果你还没有听说过请到百度百科http://baike.baidu.com/view/908354.htm看个究竟），本文主要针对Hadoop的分布式文件系统也就是HDFS展开讨论。引用Hadoop官方的一句话：HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。这么好的系统我们没有不用的道理吧，如何用呢？这里我不说如何部署Hadoop，主要讲如何让.net程序员来用。为什么只是.net程序员呢，因为Hadoop本身是Java实现且需要架设在Linux系统上，而这些都是我们习惯了Windows下.net编程的开发人员所不擅长的。下面先展示一下本文标题中所说的HDFS资源的效果，如图：

实现的功能主要有一下几点：

  1、列表。可以以资源管理器方式列表文件及文件信息（如：文件格式、大小等）
  2、文件下载。可以将HDFS中的文件下载到本地，可以单个或批量，按照列表下载。
  3、文件上传。可以将本地的文件上传至HDFS，同样支持单个、批量。
  4、文件修改。可以直接重命名、复制、粘贴、剪切HDFS中的文件。
  5、删除文件恢复。可以自定义文件删除恢复机制，在指定的时间段内恢复文件。

源码和使用配置说明放在了github上，有兴趣的可以去这里（https://github.com/gudao/NetHadoop）交流。

（注：使用前提有搭建好的Hadoop集群或伪集群且启动了Haddopfs.Thrift服务）

下篇随笔将介绍如何部署Haddopfs.Thrift服务，欢迎访问本人小站http://www.front2end.cn/交流。

 

 

转载于:https://www.cnblogs.com/gudao119/archive/2013/01/12/2857676.html