java读取unix服务器文件,在Java程序中读取一个hadoop配置文件从Unix路径

我正在开发一个Java应用程序,此应用程序正在将结果数据保存到HDFS。 Java应用程序应该运行在我的Windows机器上。在Java程序中读取一个hadoop配置文件从Unix路径

截至目前,我已将Hadoop配置文件(如core-site,hdfs-site.xml)复制到我的Windows机器并进行测试。以下是我的配置代码片段。

config.addResource(new Path("C:\\Hadoop\\core-site.xml"));

config.addResource(new Path("C:\\Hadoop\\hdfs-site.xml"));

config.addResource(new Path("C:\\Hadoop\\mapred-site.xml"));

config.addResource(new Path("C:\\Hadoop\\yarn-site.xml"));

有没有什么办法可以像我一样从我的Windows机器下载unix服务器直接加载配置文件。

config.addResource(new Path("/opt/hdp/2.3.4.7-4/hadoop/conf/core-site.xml"));

config.addResource(new Path("/opt/hdp/2.3.4.7-4/hadoop/conf/hdfs-site.xml"));

config.addResource(new Path("/opt/hdp/2.3.4.7-4/hadoop/conf/mapred-site.xml"));

config.addResource(new Path("/opt/hdp/2.3.4.7-4/hadoop/conf/yarn-site.xml"));

请帮助我。

+1

您的Windows机器是否安装了Unix服务器的磁盘(例如,通过Samba)?如果不是,答案是否定的。 –

+0

没有..我的本地windows机器上没有安装unix服务器磁盘。 –

+1

然后,你不清楚你在问什么。没有什么魔术可以从Windows上的Unix服务器读取文件。 –

一、UNIX文件系统的基本原理        UNIX采用树型目录结构,每个目录表称为一个目录文件一个目录文件是由目录项组成的。每个目录项包含16B,一个辅存磁盘块(512B)包含32个目录项。在目录项,第1、2字节为相应文件的外存i节点号,是该文件的内部标识;后14B为文件名,是该文件的外部标识。所以,文件目录项记录了文件内、外部标识的对照关系。根据文件名可以找到辅存i节点号,由此便得到该文件的所有者、存取权、文件数据的地址健在等信息。UNIX的存储介质以512B为单位划分为块,从0开始直到最大容量并顺序加以编号就成了一个文件卷,也叫文件系统。本次课程设计是要实现一个简单的模拟UNIX文件系统。我们在磁盘申请一个二进制文件模拟UNIX内存,依次初始化建立位示图区,I节点区,数据块区。 二、基本要点思路         1、模拟磁盘块的实现:因为文件系统需要从磁盘读取数据操作数据,在实现时是使用文件来模拟磁盘,一个文件是一块磁盘,在文件以划分磁盘块那样划分不同的区域,主要有三个区域:位图区,inode索引节点区,磁盘块区。位图区我是使用一个512byte的数组存放,inode区和磁盘块区我采用一种自认为比较巧妙的方法,就是存放对象列表,之前说过,在本次实验的所有的结构都使用对象进行存储,而inode节点和磁盘块就是两个重要的数据结构,在初始化时我实例化32个inode对象和512个block对象(至于这些类的具体定义下面会提到),然后将这些对象加入各自对应的对象列表,在存储时,使用java的对象序列化技术将这个对象数组存到磁盘。当使用文件系统时,程序会先从磁盘文件读取出位图数组,inode对象列表,block对象列表,之后的操作就是通过对这些列表进行修改来实现。使用这种方法可以减小存储的空间(对象序列话技术)而且不需要在使用时进行无用的查找,只要第一次初始化将这些对象都读取出来。        2、界面的实现:在实现这个文件系统时使用了两种方案,一种是直接在java控制台来进行输入输出,因为原本想着UNIX文件系统原本也是使用的命令行语句,所以在控制台上实现也很接近。后来在老师的建议下又将整个程序重新修改,改成在UI界面上进行输入输出,这样确实界面美观舒服了不少,只不过两者用的技术很不一样,前者主要使用的是系统的输入输出流,后者使用java监听器。        3、权限的实现:在实现多用户的权限方面,我给文件文件夹各定义了三级权限1、访问:在文件是可以查看文件的内容,在文件是可以进入该文件夹。2、修改:文件是可以对文件进行编辑,文件是可以在该文件创建新的文件或目录。3、删除:顾名思义。文件文件夹的创建者拥有最高级别的权限,只有拥有最高级权限的用户才可以给其他用户针对该文件文件夹进行授权和授权操作。在每次对文件文件夹进行访问修改删除操作时都会检查当前用户在该文件文件夹所拥有的权限,只有拥有的权限大于想要实现的权限时才可以进行该操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值