HDFS的java接口实现上传下载

简单的hdfs上传，下载实现

1.使用idea导入hdfs的基本包

方法一：复制粘贴法导jar包 项目工程下新建lib文件夹------>复制hadoop的jar包到文件夹下：

hadoop-2.7.3/share/hadoop/common下的包（包含lib下的包）

hadoop-2.7.3/share/hadoop/hdfs（包含lib下的包）

------>选中lib目录下所有jar包，右键------>Add as library

方法二：**maven**搭建hadoop环境新建maven项目------>直接在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs即可

例如：

1. <project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"  
2.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">  
3.     <modelVersion>4.0.0</modelVersion>  
4.     <groupId>my.hadoopstudy</groupId>  
5.     <artifactId>hadoopstudy</artifactId>  
6.     <packaging>jar</packaging>  
7.     <version>1.0-SNAPSHOT</version>  
8.     <name>hadoopstudy</name>  
9.     <url>http://maven.apache.org</url>  
10.    
11.     <dependencies>  
12.         <dependency>  
13.             <groupId>org.apache.hadoop</groupId>  
14.             <artifactId>hadoop-common</artifactId>  
15.             <version>2.7.3</version>  
16.         </dependency>  
17.         <dependency>  
18.             <groupId>org.apache.hadoop</groupId>  
19.             <artifactId>hadoop-hdfs</artifactId>  
20.             <version>2.7.3</version>  
21.         </dependency>  
22.         <dependency>  
23.             <groupId>org.apache.hadoop</groupId>  
24.             <artifactId>hadoop-client</artifactId>  
25.             <version>2.7.3</version>  
26.         </dependency>  
27.    
28.         <dependency>  
29.             <groupId>junit</groupId>  
30.             <artifactId>junit</artifactId>  
31.             <version>3.8.1</version>  
32.             <scope>test</scope>  
33.         </dependency>  
34.     </dependencies>  
35. </project>  

2.hdfs与本地文件传输

上传、下载与删除

public class hadoop1 {
    public static FileSystem fs;

    public  void init() throws Exception{
        //        创建FileSystem类
        fs = FileSystem.get(new URI("hdfs://192.168.19.128:9000"),new Configuration());
    }

    @Test
    public  void downLoad() throws Exception {
        init();
//        从hdfs下载文件到本地目录
        fs.copyToLocalFile(new Path("/wordcount"),new Path("D:/hadoop_test/1"));
    }
    @Test
    public  void upLoad() throws Exception {
        init();
        //上传本地文件到hdfs上
        fs.copyFromLocalFile(new Path("D:/hadoop_test/1"),new Path("/2"));
    }
    @Test
    public  void deletedfs() throws Exception {
        init();
        //删除hdfs文件
        fs.delete(new Path("/2"),false);
    }
}

注意：可以通过50070端口查看hdfs界面

例如： http://192.168.19.128:50070/