BigData-06：HDFS底层原理：代理对象和RPC

一、HDFS底层的原理

1、RPC：remote proceduer call 远程过程调用（协议）
2、Java的动态代理对象
	（*）如果一个类的名字前面有$，表示这是一个代理对象
	（*）是一种包装设计模式
	（*）可以增强类的功能
	（*）举例：Java的动态代理对象应用场景（典型：数据库连接池）

二、分析WordCount数据处理过程

WordCount实例：

package day0907.wc;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

//实现Map的功能
//                                           k1           v1      k2      v2
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

	@Override
	protected void map(LongWritable key1, Text value1, Context context)
			throws IOException, InterruptedException {
		/*
		 * context: map的上下文
		 * 上文：HDFS
		 * 下文：Reducer
		 */
		//得到数据   I love Beijing
		String data = value1.toString();
		
		//分词
		String[] words = data.split(" ");
		
		//输出    k2     v2
		for(String w:words){
			//             k2            v2
			context.write(new Text(w), new IntWritable(1));
		}
	}
}

package day0907.wc;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

//实现Reducer的功能
//                                             k3      v3         k4       v4
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

	@Override
	protected void reduce(Text k3, Iterable<IntWritable> v3,Context context) throws IOException, InterruptedException {
		/*
		 * context是Reducer的上下文
		 * 上文：Map
		 * 下文：HDFS
		 */
		int total = 0;
		for(IntWritable v:v3){
			//求和
			total = total + v.get();
		}
		
		//输出  k4  v4
		context.write(k3, new IntWritable(total));
	}
}

package day0907.wc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

//主程序
public class WordCountMain {

	public static void main(String[] args) throws Exception {
		//1、创建一个任务
		Job job = Job.getInstance(new Configuration());
		job.setJarByClass(WordCountMain.class); //任务的入口		
		
		//2、指定任务的map和map输出的数据类型
		job.setMapperClass(WordCountMapper.class);
		job.setMapOutputKeyClass(Text.class);  //k2的数据类型
		job.setMapOutputValueClass(IntWritable.class);  //v2的类型
		
		//3、指定任务的reduce和reduce的输出数据的类型
		job.setReducerClass(WordCountReducer.class);
		job.setOutputKeyClass(Text.class); //k4的类型
		job.setOutputValueClass(IntWritable.class); //v4的类型
		
		//4、指定任务的输入路径、任务的输出路径
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		//5、执行任务
		job.waitForCompletion(true);
	}
}

三、HDFS联盟与HA简介

代理对象代码实例：

package day0907.proxy;

public interface MyBusiness {

	public void method1();
	
	public void method2();
}

package day0907.proxy;

public class MyBusinessImpl implements MyBusiness {

	@Override
	public void method1() {
		System.out.println("********** method1  *********");
	}

	@Override
	public void method2() {
		System.out.println("********** method2  *********");
	}

}

package day0907.proxy;

import java.lang.reflect.InvocationHandler;
import java.lang.reflect.Method;
import java.lang.reflect.Proxy;

public class TestMain {

	public static void main(String[] args) {
		// 创建这个代理对象
		MyBusiness obj = new MyBusinessImpl();
		
		//为这个对象创建一个代理对象
		/*
	public static Object Proxy.newProxyInstance(ClassLoader loader,  类加载器
                                                Class<?>[] interfaces, 真正对象实现的接口
                                                InvocationHandler h) 实现接口来处理客户端的调用
                               throws IllegalArgumentException
		 */
		
		MyBusiness proxy = (MyBusiness) Proxy.newProxyInstance(TestMain.class.getClassLoader(), 
				                                               obj.getClass().getInterfaces(), 
				                                               new InvocationHandler() {
			@Override
			public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
				//处理客户端的调用
				if(method.getName().equals("method1")){
					//执行重写
					System.out.println("***********代理对象中的method1**************");
					return null;
				}else{
					//其他方法
					return method.invoke(obj, args);
				}
			}
		});
		
		//通过代理对象去调用真正的对象
		proxy.method1();
		proxy.method2();
	}

}

执行结果：

****************代理对象中的method1****************
****************method2******************