在Linux下的eclipse中编程实现HDFS的数据读写过程

写入数据：

一、开启eclipse

打开虚拟机后，开启Hadoop集群，cd到eclipse的安装目录，输入命令./eclipse打开eclipse。

二、创建项目

1. 点击左边空白处，单击右键，依次点击New—> Project…
   
2. 出现如下界面后，我们选择Map/Reduce Project，然后点击Next。
   
3. 在出现的界面当中，我们输入项目的名称，然后点击Next即可，在接下来的页面中点击finish，即可完成项目的创建。
   
4. 然后我们在新建好的项目中新建一个包，命名为WriteFile，然后点击finish即可。
   
   
5. 然后我们在新建的包下新建一个类，命名为WriteFile，然后点击finish即可。
   
   
6. 接下来我们写如代码：

package WriteFile;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
public static void main(String[] args)throws Exception{
try{
Configuration conf = new Configuration();
 conf.set("fs.defaultFS","hdfs://master:9000");
 conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem hdfs = FileSystem.get(conf);

byte[] buff = "Hello world hello NXY".getBytes(); // 要写入的内容
 String filename = "/input/test_write_nxy"; //要写入的文件名
 FSDataOutputStream os = hdfs.create(new Path(filename));
 os.write(buff,0,buff.length);
 System.out.println("Create:"+ filename);
 os.close();
 hdfs.close();
}
catch (Exception e) {
 e.printStackTrace();
 }
}
}

7. 我们右键依次点击Run As—>Run on Hadoop，运行结果如下：
   
8. 然后我们打开左边的DFS Locations中的input，刷新一次，即可看到写入的文件。
   
   以上，一次写入的过程就完成了！

---

读出数据：

前面的步骤与写入数据一样，我们创建名为ReadFile的项目、名为ReadFile的包、名为ReadFile的类，然后写入代码：

package ReadFile;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
public class ReadFile{
 public static void main(String[] args){
 try{
 Configuration conf = new Configuration();
 conf.set("fs.defaultFS","hdfs://master:9000");

conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
 FileSystem fs = FileSystem.get(conf);
 Path file = new Path("/input/test0nxy.txt"); //所要读取文件的路径
 FSDataInputStream getIt = fs.open(file);
 BufferedReader d = new BufferedReader(new InputStreamReader(getIt));
 String content = d.readLine(); //读取文件一行
 System.out.println(content);
 d.close(); //关闭文件
 fs.close(); //关闭 hdfs
 } catch (Exception e) {
 e.printStackTrace();
 }
}
}

我们右键依次点击Run As—>Run on Hadoop，运行结果如下：

如图，就已经完成了一次文件的读数据的过程。