HADOOP本地可视化界面的设计及基本实现

博主在忙碌的工作之余,设计并初步实现了HDFS文件系统的本地可视化界面,类似于资源管理器,提供了文件树查看、创建/删除文件/目录等功能。通过在NameNode上运行程序,使用fs命令解析HDFS状态,实现文件系统的操作。虽然目前仅涉及命令行操作,未用到Hadoop API,但计划未来优化代码并加入更多功能,如错误处理、文件追加等。
摘要由CSDN通过智能技术生成

最近在忙于写论文等工作,有一段时间没有看hadoop源码了,觉得不能中断,所以就自己思考着实现hdfs文件系统的本地可视化界面。从昨天上午构思,到今天中午,完成了基本的功能。

(1)设计思路:

在hadoop节点上,运行程序后,可显示可视化界面,和普通的资源管理器类似,实现简单的文件树查看、创建文件、删除文件等操作。

目前界面设计如下:


主要界面包括工具栏、文件树、查看区、状态栏四个部分。

工具栏提供如下功能: 刷新(更新文件树和hdfs同步)、新建目录、删除目录或文件、查看目录(相当于ls命令)、查看文件(返回文件内容)


状态栏显示当前文件系统的操作结果。

查看区根据操作不同,显示不同的结果。

(2)基本实现

上述是设计思路,下面该说如何实现了。

对于实现我有以下几个思路:通过namenode的rpc机制(C/S架构方式)、运行在namenode上调用fs命令(本地模式)、直接读取镜像文件实现(dfs服务不启动也可以实现文件树的查看)

本地实现采用第二种方式,即直接在namenode上调用fs命令来解析结果和调用fs命令实现hdfs的操作。采用这样方式的原因在于较简单,同时也为另2种实现方式做一些基本的技术准备。(个人倾向于直接对镜像文件和数据块

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值