地表最强系列之:HDFS的读写

安装并配置Maven

• maven教程

编写Java程序

public class TestHDFS {
    public static void writeToHDFS(String hdfsFile, String hdfsURL,String fileName) throws IOException {
        Configuration cfg=new Configuration();//配置对象
        cfg.set("fs.defaultFS",hdfsURL);//获取FileSystem并建立连接
        //FileSystem：该类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作，通过 FileSystem 的静态方法 get 获得该对象。
        //FileSystem fs = FileSystem.get(conf)
        //get 方法从 conf 中的一个参数 fs.defaultFS 的配置值判断具体是什么类型的文件系统
        FileSystem fs=FileSystem.get(cfg);
        if (fs.exists(new org.apache.hadoop.fs.Path(hdfsFile))){
            //Hadoop对于写操作提供了一个类：FSDataOutputStream，这个类重载了很多write方法，
            // 用于写入很多类型的数据：比如字节数组，long，int，char等等。像FSDataInputStream一样，要获得FSDataOutputStream的实例，
            // 必须通过FileSystem该类来和HDFS建立连接，然后通过路径返回FSDataOutputStream实例。FileSystem返回FSDataOutputStream实例的方法有两组：
            FSDataOutputStream fdos=fs.create(new Path(hdfsFile));//把文件装进hdfsFile这个文件中
        FileInputStream fis=new FileInputStream(fileName);
        byte[] bytes=new byte[2048];
        //首次读
        int count=fis.read(bytes,0,2048);
        while (count>0){
            fdos.write(bytes,0,2048);
            count=fis.read(bytes,0,2048);//前面读过的字节就没有了所有还是要从头开始读
        }
        fis.close();
        fdos.close();
        fs.close();

    }
    }

    public static void main(String[] args) throws IOException {
        writeToHDFS(args[0],args[1],args[2]);
    }
}

生成jar包

• 在IDEA中选择File–>Project Structure–>Artifacts
  
  点击ok,然后在Build -->Build Artifacts
  
  生成jar包,在out的文件夹中出现了jar包就表示你成功了
  

Linux的操作

• 将生成的jar包拖入Linux中,执行

 jar jar包名 java文件的目录  /hdfs文件路径  /URL  /Linux文件路径

• 操作完成