【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备：

确保hadoop2.2.0集群正常运行

---

1.eclipse中建立java工程，导入hadoop2.2.0相关jar包

---

2.在src根目录下拷入log4j.properties，通过log4j查看详细日志

log4j.rootLogger=debug, stdout, R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender

log4j.appender.R.File=firestorm.log

log4j.appender.R.MaxFileSize=100KB

log4j.appender.R.MaxBackupIndex=1

log4j.appender.R.layout=org.apache.log4j.PatternLayout

log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

log4j.logger.com.codefutures=DEBUG

---

3.拷入一个可执行的hadoop程序，我用的是一个HdfsDAO，可以先保证HDFS操作能执行

import java.io.IOException;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

import org.apache.hadoop.mapred.JobConf;

public class HdfsDAO {

    private static final String HDFS = "hdfs://192.168.0.160:9000/";

    public HdfsDAO(Configuration conf) {

        this(HDFS, conf);

    }

    public HdfsDAO(String hdfs, Configuration conf) {

        this.hdfsPath = hdfs;

        this.conf = conf;

    }

    private String hdfsPath;

    private Configuration conf;

    public static void main(String[] args) throws IOException {

        JobConf conf = config();

        HdfsDAO hdfs = new HdfsDAO(conf);

//        hdfs.copyFile("datafile/item.csv", "/tmp/new");

//        hdfs.ls("/tmp/new");

        hdfs.ls("/");

    }        

    

    public static JobConf config(){

        JobConf conf = new JobConf(HdfsDAO.class);

        conf.setJobName("HdfsDAO");

        conf.addResource("classpath:/hadoop/core-site.xml");

        conf.addResource("classpath:/hadoop/hdfs-site.xml");

        conf.addResource("classpath:/hadoop/mapred-site.xml");

        return conf;

    }

    

    public void mkdirs(String folder) throws IOException {

        Path path = new Path(folder);

        FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);

        if (!fs.exists(path)) {

            fs.mkdirs(path);

            System.out.println("Create: " + folder);

        }

        fs.close();

    }

    public void rmr(String folder) throws IOException {

        Path path = new Path(folder);

        FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);

        fs.deleteOnExit(path);

        System.out.println("Delete: " + folder);

        fs.close();

    }

    public void ls(String folder) throws IOException {

        Path path = new Path(folder);

        FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);

        FileStatus[] list = fs.listStatus(path);

        System.out.println("ls: " + folder);

        System.out.println("==========================================================");

        for (FileStatus f : list) {

            System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(), f.isDir(), f.getLen());

        }

        System.out.println("==========================================================");

        fs.close();

    }

    public void createFile(String file, String content) throws IOException {

        FileSystem fs = FileSystem.get(URI.