Hadoop（三）————HDFS以及MapReduce、YARN源码分析

1、HDFS源码分析

1.1HDFS基本操作代码示例

package cn.ctgu.hadoop;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;



public class HdfsUtil {
    FileSystem fs=null;
    @Before
    public void init() throws IOException, InterruptedException, URISyntaxException {
        //读取classpath下的xxx-site.xml配置文件，并解析其内容，封装到conf对象中
        Configuration conf=new Configuration();//获得hdfs的配置
        //也可以在代码中对conf中的配置信息进行手动设置，会覆盖掉配置文件中读取的值
        conf.set("fs.defaultFS", "hdfs://Master:9000/");
        //根据配置信息，去获取一个具体文件系统的客户端操作实例对象
        fs=FileSystem.get(new URI("hdfs://Master:9000"),conf,"hadoop");//获得客户端,第一个参数是hdfs的uri,第三个参数是该hdfs所属用户

    }
    /*
     * 上传文件方式一
     * */
    @Test
    public void upload() throws IOException {
        Configuration conf=new Configuration();//获得hdfs的配置
        FileSystem fs=FileSystem.get(conf);//获得客户端
        Path dst=new Path("hdfs://Master:9000/aa.txt");//获取hdfs文件路径
        FSDataOutputStream os=fs.create(dst);//获取输出流
        FileInputStream is=new FileInputStream("K:/aa.txt");//获取输入流
        IOUtils.copy(is, os);//利用hdfs的工具类完成文件的写操作
    }
    //上传文件方式二
    @Test
    public void upload2() throws IOException {
        fs.copyFromLocalFile(new Path("K:/aa.txt") ,new Path("hdfs://Master:9000/aa2.txt"));
    }
    /*
     * 下载文件
     * */
    @Test
    public void download() throws IllegalArgumentException, IOException {
        fs.copyToLocalFile(new Path("hdfs://Master:9000/aa2.txt") , new Path("K:/aa.txt"));
    }
    /*
     * 查看文件信息
     * */
    @Test
    public void lisfFiles() throws FileNotFoundException, IllegalArgumentException, IOException {

        RemoteIterator<LocatedFileStatus>files=fs.listFiles(new Path("/"), true);//递归查看根目录下的文件信息，不会显示文件夹
        while(files.hasNext()) {
            LocatedFileStatus file=files.next();//获取文件
            Path filepath=file.getPath();//获取文件路径
            String fileName=filepath.getName();//获取文件名
            System.out.println(fileName);
        }
        System.out.println("-----------------------------------");

        //listStatus可以列出文件和文件夹的信息，但是不提供自带的递归遍历
        FileStatus[] listStatus=fs.listStatus(new Path("/"));
        for(FileStatus status:listStatus) {
            String name=status.getPath().getName();
            System.out.println(name+(status.isDirectory()?" is dir":" is file"));
        }

    }
    /*
     * 创建文件夹
     * */
    @Test
    public void mkdir() throws IllegalArgumentException, IOException {
        fs.mkdirs(new Path("/aa/bb/cc"));
    }
    /*
     * 删除文件或文件夹
     * */
    @Test
    public void rm() throws IllegalArgumentException, IOException {
        fs.delete(new Path("/aa"), true);//递归删除aa目录下的文件
        //fs.rename(arg0, arg1);//重命名
    }
    public static void main(String[] args) throws IOException {
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://Master:9000/");

        FileSystem fs=FileSystem.get(conf);
        FSDataInputStream is=fs.open(new Path("/jdk-7u65-linux-i586.tar.gz"));
        FileOutputStream os=new FileOutputStream("K:/jdk.tgz");
        IOUtils.copy(is, os);
    }
}

1.2 FileSystem.get源码分析
FileSystem.get –> 通过反射实例化了一个DistributedFileSystem –> new DFSCilent()把他作为自己的成员变量
在DFSClient构造方法里面，调用了createNamenode，使用了RPC机制，得到了一个NameNode的代理对象，就可以和NameNode进行通信了

FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理

fsget流程

1.3 fs.open源码分析

open流程

2、MapReduce源码分析

2.1 代码示例

WCMapper.java

package cn.ctgu.hadoop.mapreduce;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

//4个泛型，前两个是指定mapper输入数据的类型
/*KEYIN是输入的key的类型    VALUEIN是输入的value的类型
 * map和reduce的数据输入输出都是以key-value键值对的形式封装的
 * 默认情况下，框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的起始偏移量，这一行的内容作为value
 * 
 * LongWritable是hadoop自己实现的一种序列化对象（采用自己的序列化方法，免除了jdk序列化方法的冗余性），相当于Long类型，是对Long进行了一定的封装改造 
 * Text相当于String,是对String进行了一定的封装改造 
 * 
 * */
public class WCMapper extends Mapper<LongWritable,Text,Text,LongWritable>{

    //mapreduce框架每读一行数据就调用一次该方法
    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
            throws IOException, InterruptedException {
        //具体业务逻辑就写在这个方法体中，而且我们业务要处理的数据已经被框架传递进来，在方法的参数中key-value
        //key是这一样数据的起始偏移量   value是这一行的文本内容
        String line=value.toString();//将Text类型转换成value类型

        String[]words=StringUtils.split(line," ");//调用hadoop的字符切割工具以空格为切割点进行文本内容的切割
        //遍历这个单词数组输出为kv形式    k:单词     v:1，框架将其保存到缓存中，以便交给reduce处理
        for(String word:words) {
            context.write(new Text(word), new LongWritable(1));//由于输出在上面的泛型上已经定义了为Text,LongWritable，所以此处需要将String和int类型的封装成目标类型
        }

    }
}

WCReducer.java

package cn.ctgu.hadoop.mapreduce;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

public class WCReducer extends Reducer<Text,LongWritable,Text,LongWritable>{

    //框架在map处理完成之后，框架将所有kv对缓存起来，进行分组，然后传递一个组<key,value{}>,调用一次reduce方法
    //统计一次<hello,{1,1,1,1,1,1.......}>，每处理一个组调用一次reduce方法
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values,Context context)
            throws IOException, InterruptedException {

            long count=0;
            //遍历value的list，进行累加求和
            for(LongWritable value:values) {
                count+=value.get();
            }
            //输出这一个单词的统计结果
            context.write(key, new LongWritable(count));
    }

}

WCRunner.java

package cn.ctgu.hadoop.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



/*
 * 用来描述一个特定的作业：
 * 比如，该作业使用哪个类作为逻辑处理中的map，哪个作为reduce
 * 还可以指定该作业要处理的数据所在的路径
 * 还可以指定该作业输出的结果放到哪个路径
 * 
 * */
public class WCRunner {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf=new Configuration();

        Job wcjob=Job.getInstance(conf);//生成job实例对象 得在生成job实例对象前面

        //设置整个job所用的那些类在哪个jar包
        wcjob.setJarByClass(WCRunner.class);

        //指定本job使用的mapper和reducer的类
        wcjob.setMapperClass(WCMapper.class);
        wcjob.setReducerClass(WCReducer.class);

        //指定reduce的输出数据kv类型
        wcjob.setOutputKeyClass(Text.class);
        wcjob.setOutputValueClass(LongWritable.class);

        //指定mapper的输出数据kv类型，如果mapper输出的数据类型和reduce输出的数据类型一致则可以省略此处，上面设置reduce类型的同时会设置mapper的
        wcjob.setMapOutputKeyClass(Text.class);
        wcjob.setMapOutputValueClass(LongWritable.class);

        //指定要处理的输入数据存放路径,它会将该目录下的所有文件都进行相应的处理
        FileInputFormat.setInputPaths(wcjob, new Path("/wc/srcdata/"));

        //指定处理结果的输出数据存放路径
        FileOutputFormat.setOutputPath(wcjob, new Path("/wc/output/"));

        //将job提交给集群运行，true就是将进度显示在屏幕上
        wcjob.waitForCompletion(true);
    }
}

2.2 Wordcount业务逻辑

2.3 MapReduce的几种提交运行模式

本地模型运行

1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行
—-输入输出数据可以放在本地路径下（c:/wc/srcdata/）
—-输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)

2/在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
—-输入输出数据可以放在本地路径下（/home/hadoop/wc/srcdata/）
—-输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)

集群模式运行
1/将工程打成jar包，上传到服务器，然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

2/在linux的eclipse中直接运行main方法，也可以提交到集群中去运行，但是，必须采取以下措施：
—-在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
—-将工程打成jar包(wc.jar)，同时在main方法中添加一个conf的配置参数　conf.set(“mapreduce.job.jar”,”wc.jar”);

3/在windows的eclipse中直接运行main方法，也可以提交给集群中运行，但是因为平台不兼容，需要做很多的设置修改
—-要在windows中存放一份hadoop的安装包（解压好的）
—-要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
—-再要配置系统环境变量 HADOOP_HOME 和 PATH
—-修改YarnRunner这个类的源码

不推荐windows系统下运行程序！！！

2.4 Job提交流程

3、编写代码需要导入的包
1、公共包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\common\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\common目录下的

2、HDFS包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\hdfs\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jar
3、MapReduce包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\mapreduce\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\mapreduce目录下的

4、YARN包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\yarn\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\yarn目录下的