本讲我们来讲解如何读写另外一台计算机上面的HDFS。在实际的环境中,我们的HDFS存储和应用程序很有可能是运行在不同的计算机上的。
上一讲我们实现了网络的互通,那么这一讲我们来讲解编写一个java程序来读写hdfs.。
步骤:
1、确保两台电脑网络互通(上一讲内容);
2、Centos里面的HDFS运行正常(上一讲内容);
3、Centos里面的防火墙开通9000端口(也就是centos里面的hdfs配置端口)
4、配置Windows里面的JDK;
5、配置Windows里面的Hadoop;
6、配置eclipse相关的hadoop插件或library包
7、创建Java程序。
一、开通9000端口
在centos的防火墙开通9000端口,如下:
centos开启后,在windows里面的浏览器可以访问如下来测试是否能正常访问该端口:(注意这里要用浏览器的极速模式或者谷歌浏览器,ie浏览器或者兼容模式可能无法访问)
另外,下面的所有的cmd命令都需要在新打开的cmd窗口中操作,如果用之前打开的cmd窗口,有可能测试失败,因为cmd都是针对打开窗口的时候的系统环境生效的。
二、配置Windows里面的JDK
本次演示的jdk版本
链接:https://pan.baidu.com/s/1X3hqp8DhdF-JEcK4rE6TyQ
提取码:kvgj
我这里的jdk文件存放的位置。
配置java_home
配置class_path
配置path
最终测试 java 和javac 命令都正常即可。
三、配置Windows里面的Hadoop
3.1配置环境变量
把hadoop压缩包解压,和centos里面的是通用的,只不过后缀为tar.zip的压缩包要不断解压才能得到最里面的文件夹。我这里是放在C盘根目录下。
链接:https://pan.baidu.com/s/1AJLenl05gs75XOQJisOyFg
提取码:4t4d
上面的hadoop的版本
然后配置环境变量hadoop_home:
然后配置path,把hadoop_home加入到pa