【Hadoop源码学习】之hdfs（一）

前言：之前已经基本熟悉了常用的机器学习算法，现在开始学习Hadoop/Spark这些分布式的框架。目前Spark的发展态势比较好，但是Spark也是基于Hadoop的分布式文件系统（hdfs）实现的。所以准备先好好学学hadoop，再去学习Spark。

Hdfs的框架参见http://www.cnblogs.com/laov/p/3434917.html

Hdfs提供了一些JAVA API供用户使用，因此就从这些API的实现机制入手去学习hadoop hdfs部分的程序。

使用FileSystem API操作数据：

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class FileSystemCat {

    //创建新文件
    public static void createFile(String dst , byte[] contents) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path dstPath = new Path(dst); //目标路径
        //打开一个输出流
        FSDataOutputStream outputStream = fs.create(dstPath);
        outputStream.write(contents);
        outputStream.close();
        fs.close();
        System.out.println("文件创建成功！");
    }

    //上传本地文件
    public static void uploadFile(String src,String dst) throws IOException{
        Configur