Hadoop入门（3）Shell和JAVA的简单演示+代码实现基础云盘功能

目录

一、Shell的使用

二、JAVA api的使用

（一）配置xml文件

（二）简单代码demo（创建、查看、上传、下载）

三、Python的使用

四、参考与推荐

---

一、Shell的使用

• 平时的linux指令是针对本地电脑进行的，而HDFS是分布式的，它针对的是通过网络连接的计算机集群，因此在指令上有所区别。
• 在大部分普通linux指令前加上“hdfs dfs -”即可。
• 例如我们想要创建一个文件夹，平时都是用“mkdir /test1”指令在本地虚拟机上创建"test1"目录，但是如果想要在HDFS中创建一个“test1”目录，就需要在普通linux指令前加上“hdfs dfs -”，如下。

hdfs dfs -mkdir /test1

 

• 在web网页上可以看到我们的确已经创建好了目录test1。 

二、JAVA api的使用

• 由上面的例子可以看到，我们可以通过shell操纵我们的HDFS，通过shell创建了一个目录，那如何用java api进行同样的操作呢？

（一）配置xml文件

1、创建项目

• 在本机电脑上用ecplise创建JAVA项目，不赘述。

2、导包

• 找到hadoop的路径，进入“..hadoop-2.7.0\share\hadoop\common”路径，看到有三个Jar包，将它导入到JAVA项目中。 
• 同样的，再将“..hadoop-2.7.0\share\hadoop\common\lib”下的所有jar包导入。
• 再将“..hadoop-2.7.0\share\hadoop\hdfs”下的3个jar包导入。
• 再将“..hadoop-2.7.0\share\hadoop\hdfs\lib”下的所有jar包导入。

3、导入虚拟机的配置文件

• 利用xftp进入到虚拟机的“.../hadoop-2.7.0/etc/hadoop”目录下，找到两个文件“hdfs-site.xml”和"core-site.xml"，导出并放到项目的/src根目录下。 

• 要修改“core-site.xml”里面的“localhost”为虚拟机的IP地址，不然本机无法找到虚拟机，它不知道这个“localhost”是谁。&