Hadoop 基本API 使用 -- 从HDFS文件系统 上读取文件

 

 Hadoop 基本API 使用 从HDFS文件系统 上读取文件

不多说 看代码：

 

如果报错 wutils.exe  之类：

 请注意一定要添加这一行：

 

 System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3");

 

 

 

 

import java.io.BufferedReader;  
import java.io.BufferedWriter;  
import java.io.FileInputStream;  
import java.io.FileWriter;  
import java.io.InputStreamReader;  
  
import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FSDataInputStream;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path; 

/**
 * 类说明
 * 
 * <pre>
 * Modify Information:
 * Author        Date          Description
 * ============ =========== ============================
 * DELL          2017年3月23日    Create this file
 * </pre>
 * 
 */

public class ReadFromHDFS {  
  
    /** 
     * @param args 
     * @throws Throwable  
     */  
    public static void main(String[] args) throws Throwable {  
        String[]  ioArg = new String[]{"hdfs://192.168.233.128:9000/user/wangxiaoming/bankstatementconfig/bankstatementconfig.txt"};
        String path = ioArg[0];  
//        String confFile = args[1];  
        Configuration conf = new Configuration();   
//        FileInputStream fis = new FileInputStream(confFile);  
//        conf.addResource(fis); 
        conf.set("mapred.jop.tracker", "hdfs://192.168.233.128:9001");
        conf.set("fs.default.name", "hdfs://192.168.233.128:9000");
        System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.3");
        FileSystem fileSystem = FileSystem.get(conf);  
        FSDataInputStream fs = fileSystem.open(new Path(path));  
        //GBK
        BufferedReader bis = new BufferedReader(new InputStreamReader(fs,"GBK"));     
//        FileWriter fos = new FileWriter(args[2]);  
//        BufferedWriter bw = new BufferedWriter(fos);  
        String temp;  
        int i=0;  
        while ((temp = bis.readLine()) != null) {  
//            bw.write(temp);  
            System.out.println(temp);  
//            if(temp.startsWith("</doc>")) {  
            
//                break;  
//            }  
//            if(temp.indexOf("上海") > -1) {  
//                System.out.println("发现你了 coming");  
//                break;  
//            }  
        }         
//        bw.close();  
        bis.close();  
        fileSystem.close();  
    }  
  
}