java hdfs 新建目录_第九讲:通过JavaAPI读写虚拟机里面的HDFS-创建文件夹

本文详细介绍了如何通过Java API在Windows环境下连接并操作远程CentOS上的HDFS,包括配置JDK、Hadoop,安装Eclipse Hadoop插件,以及编写Java程序创建HDFS目录。通过配置环境变量、下载必要文件和解决权限问题,成功实现跨平台的HDFS文件系统操作。
摘要由CSDN通过智能技术生成

本讲我们来讲解如何读写另外一台计算机上面的HDFS。在实际的环境中,我们的HDFS存储和应用程序很有可能是运行在不同的计算机上的。

b3d0f7a59eb39c7ba89df53069b07ce9.png

上一讲我们实现了网络的互通,那么这一讲我们来讲解编写一个java程序来读写hdfs.。

步骤:

1、确保两台电脑网络互通(上一讲内容);

2、Centos里面的HDFS运行正常(上一讲内容);

3、Centos里面的防火墙开通9000端口(也就是centos里面的hdfs配置端口)

4、配置Windows里面的JDK;

5、配置Windows里面的Hadoop;

6、配置eclipse相关的hadoop插件或library包

7、创建Java程序。

一、开通9000端口

在centos的防火墙开通9000端口,如下:

d2127917c22927c4d8be5e97789fddd1.png

centos开启后,在windows里面的浏览器可以访问如下来测试是否能正常访问该端口:(注意这里要用浏览器的极速模式或者谷歌浏览器,ie浏览器或者兼容模式可能无法访问)

f9d5f749ede265597a95edcfe75d1ab3.png

另外,下面的所有的cmd命令都需要在新打开的cmd窗口中操作,如果用之前打开的cmd窗口,有可能测试失败,因为cmd都是针对打开窗口的时候的系统环境生效的。

二、配置Windows里面的JDK

本次演示的jdk版本

链接:https://pan.baidu.com/s/1X3hqp8DhdF-JEcK4rE6TyQ

提取码:kvgj

1e518e72a4310ffc7131e678ff8b92b7.png

我这里的jdk文件存放的位置。

f4b29ad5683b9d8b5248cf80cd8a8424.png

配置java_home

98c623af3fad864da40091f69af634f7.png

配置class_path

5ecd5d50f6338d14c7cdb62490ebc803.png

配置path

ad56f07e8d99966487f09b39f4cc9ba2.png

最终测试 java  和javac 命令都正常即可。

三、配置Windows里面的Hadoop

3.1配置环境变量

把hadoop压缩包解压,和centos里面的是通用的,只不过后缀为tar.zip的压缩包要不断解压才能得到最里面的文件夹。我这里是放在C盘根目录下。

链接:https://pan.baidu.com/s/1AJLenl05gs75XOQJisOyFg

提取码:4t4d

上面的hadoop的版本

b675c1d4fd9171dbdbf88ec12b091197.png

然后配置环境变量hadoop_home:

a42cf022f92278561dfc1b58459b5266.png

然后配置path,把hadoop_home加入到pa

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值