利用eclipse使用java代码操作虚拟机的hdfs的基础教程

新建一个maven项目。点击File，new，mavenProject：

 然后把 groupId和ArtifactId随便写上就行 

 创建好之后打开pom.xml文件：把hdfs操作需要的依赖添加进行：

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0</version>
        </dependency>
        <!-- hdfs-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.0</version>
        </dependency>

 

然后开始建包：

 然后开始写代码操作hdfs：

package hdfs;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URISyntaxException;
import java.nio.charset.Charset;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.codehaus.jackson.util.BufferRecycler;
public class HdfsDemo {
    public static void main(String[] args) throws URISyntaxException, IOException {
        //首先获取hdfs的集群访问地址，namenode的地址
        //在这之前我需要对hdfs中添加一下信息：
        /*1：设置dfs权限打开true
         
        hdfs-site.xml文件    
        <property>
        <name>dfs.permissions</name>
        <value>true</value>
        </property>*/
        
        
        URI uri = new URI("hdfs://192.168.25.200:9000");
        //创建一个配置文件对象
        Configuration conf = new Configuration();
        //创建hdsf文件系统对象
        FileSystem fs = FileSystem.get(uri, conf);
        //使用创建hdfs文件的方法
        fs.create(new Path("/hdfs001"));
        //当我删除时候必须先创建删除，把上面的注释掉
        fs.delete(new Path("/hdfs001"));
        //查看路径信息
        FileStatus[] fileStatuses = fs.listStatus(new Path("/home/data.csv"));
        for (FileStatus fileStatus : fileStatuses) {
            System.out.println(fileStatus);
        }
        //读取hdfs上的文件：
        FSDataInputStream in = fs.open(new Path("/home/data.txt"));
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in,"UTF-8"));
        String line = null;
        while ((line = bufferedReader.readLine())!=null ) {
            
            System.out.println(line);
            in.close();//关闭流操作
        }
    }
}