1、HDFS源码分析
1.1HDFS基本操作代码示例
package cn.ctgu.hadoop;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;
public class HdfsUtil {
FileSystem fs=null;
@Before
public void init() throws IOException, InterruptedException, URISyntaxException {
//读取classpath下的xxx-site.xml配置文件,并解析其内容,封装到conf对象中
Configuration conf=new Configuration();//获得hdfs的配置
//也可以在代码中对conf中的配置信息进行手动设置,会覆盖掉配置文件中读取的值
conf.set("fs.defaultFS", "hdfs://Master:9000/");
//根据配置信息,去获取一个具体文件系统的客户端操作实例对象
fs=FileSystem.get(new URI("hdfs://Master:9000"),conf,"hadoop");//获得客户端,第一个参数是hdfs的uri,第三个参数是该hdfs所属用户
}
/*
* 上传文件方式一
* */
@Test
public void upload() throws IOException {
Configuration conf=new Configuration();//获得hdfs的配置
FileSystem fs=FileSystem.get(conf);//获得客户端
Path dst=new Path("hdfs://Master:9000/aa.txt");//获取hdfs文件路径
FSDataOutputStream os=fs.create(dst);//获取输出流
FileInputStream is=new FileInputStream("K:/aa.txt");//获取输入流
IOUtils.copy(is, os);//利用hdfs的工具类完成文件的写操作
}
//上传文件方式二
@Test
public void upload2() throws IOException {
fs.copyFromLocalFile(new Path("K:/aa.txt") ,new Path("hdfs://Master:9000/aa2.txt"));
}
/*
* 下载文件
* */
@Test
public void download() throws IllegalArgumentException, IOException {
fs.copyToLocalFile(new Path("hdfs://Master:9000/aa2.txt") , new Path("K:/aa.txt"));
}
/*
* 查看文件信息
* */
@Test
public void lisfFiles() throws FileNotFoundException, IllegalArgumentException, IOException {
RemoteIterator<LocatedFileStatus>files=fs.listFiles(new Path("/"), true);//递归查看根目录下的文件信息,不会显示文件夹
while(files.hasNext()) {
LocatedFileStatus file=files.next();//获取文件
Path filepath=file.getPath();//获取文件路径
String fileName=filepath.getName();//获取文件名
System.out.println(fileName);
}
System.out.println("-----------------------------------");
//listStatus可以列出文件和文件夹的信息,但是不提供自带的递归遍历
FileStatus[] listStatus=fs.listStatus(new Path("/"));
for(FileStatus status:listStatus) {
String name=status.getPath().getName();
System.out.println(name+(status.isDirectory()?" is dir":" is file"));
}
}
/*
* 创建文件夹
* */
@Test
public void mkdir() throws IllegalArgumentException, IOException {
fs.mkdirs(new Path("/aa/bb/cc"));
}
/*
* 删除文件或文件夹
* */
@Test
public void rm() throws IllegalArgumentException, IOException {
fs.delete(new Path("/aa"), true);//递归删除aa目录下的文件
//fs.rename(arg0, arg1);//重命名
}
public static void main(String[] args) throws IOException {
Configuration conf=new Configuration();
conf.set("fs.defaultFS", "hdfs://Master:9000/");
FileSystem fs=FileSystem.get(conf);
FSDataInputStream is=fs.open(new Path("/jdk-7u65-linux-i586.tar.gz"));
FileOutputStream os=new FileOutputStream("K:/jdk.tgz");
IOUtils.copy(is, os);
}
}
1.2 FileSystem.get源码分析
FileSystem.get –> 通过反射实例化了一个DistributedFileSystem –> new DFSCilent()把他作为自己的成员变量
在DFSClient构造方法里面,调用了createNamenode,使用了RPC机制,得到了一个NameNode的代理对象,就可以和NameNode进行通信了
FileSystem --> DistributedFileSystem --> DFSClient --> NameNode的代理
fsget流程
1.3 fs.open源码分析
open流程
2、MapReduce源码分析
2.1 代码示例
WCMapper.java
package cn.ctgu.hadoop.mapreduce;
import java.io.IOException;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
//4个泛型,前两个是指定mapper输入数据的类型
/*KEYIN是输入的key的类型 VALUEIN是输入的value的类型
* map和reduce的数据输入输出都是以key-value键值对的形式封装的
* 默认情况下,框架传递给我们的mapper的输入数据中,key是要处理的文本中一行的起始偏移量,这一行的内容作为value
*
* LongWritable是hadoop自己实现的一种序列化对象(采用自己的序列化方法,免除了jdk序列化方法的冗余性),相当于Long类型,是对Long进行了一定的封装改造
* Text相当于String,是对String进行了一定的封装改造
*
* */
public class WCMapper extends Mapper<LongWritable,Text,Text,LongWritable>{
//mapreduce框架每读一行数据就调用一次该方法
@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
throws IOException, InterruptedException {
//具体业务逻辑就写在这个方法体中,而且我们业务要处理的数据已经被框架传递进来,在方法的参数中key-value
//key是这一样数据的起始偏移量 value是这一行的文本内容
String line=value.toString();//将Text类型转换成value类型
String[]words=StringUtils.split(line," ");//调用hadoop的字符切割工具以空格为切割点进行文本内容的切割
//遍历这个单词数组输出为kv形式 k:单词 v:1,框架将其保存到缓存中,以便交给reduce处理
for(String word:words) {
context.write(new Text(word), new LongWritable(1));//由于输出在上面的泛型上已经定义了为Text,LongWritable,所以此处需要将String和int类型的封装成目标类型
}
}
}
WCReducer.java
package cn.ctgu.hadoop.mapreduce;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WCReducer extends Reducer<Text,LongWritable,Text,LongWritable>{
//框架在map处理完成之后,框架将所有kv对缓存起来,进行分组,然后传递一个组<key,value{}>,调用一次reduce方法
//统计一次<hello,{1,1,1,1,1,1.......}>,每处理一个组调用一次reduce方法
@Override
protected void reduce(Text key, Iterable<LongWritable> values,Context context)
throws IOException, InterruptedException {
long count=0;
//遍历value的list,进行累加求和
for(LongWritable value:values) {
count+=value.get();
}
//输出这一个单词的统计结果
context.write(key, new LongWritable(count));
}
}
WCRunner.java
package cn.ctgu.hadoop.mapreduce;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/*
* 用来描述一个特定的作业:
* 比如,该作业使用哪个类作为逻辑处理中的map,哪个作为reduce
* 还可以指定该作业要处理的数据所在的路径
* 还可以指定该作业输出的结果放到哪个路径
*
* */
public class WCRunner {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Configuration conf=new Configuration();
Job wcjob=Job.getInstance(conf);//生成job实例对象 得在生成job实例对象前面
//设置整个job所用的那些类在哪个jar包
wcjob.setJarByClass(WCRunner.class);
//指定本job使用的mapper和reducer的类
wcjob.setMapperClass(WCMapper.class);
wcjob.setReducerClass(WCReducer.class);
//指定reduce的输出数据kv类型
wcjob.setOutputKeyClass(Text.class);
wcjob.setOutputValueClass(LongWritable.class);
//指定mapper的输出数据kv类型,如果mapper输出的数据类型和reduce输出的数据类型一致则可以省略此处,上面设置reduce类型的同时会设置mapper的
wcjob.setMapOutputKeyClass(Text.class);
wcjob.setMapOutputValueClass(LongWritable.class);
//指定要处理的输入数据存放路径,它会将该目录下的所有文件都进行相应的处理
FileInputFormat.setInputPaths(wcjob, new Path("/wc/srcdata/"));
//指定处理结果的输出数据存放路径
FileOutputFormat.setOutputPath(wcjob, new Path("/wc/output/"));
//将job提交给集群运行,true就是将进度显示在屏幕上
wcjob.waitForCompletion(true);
}
}
2.2 Wordcount业务逻辑
2.3 MapReduce的几种提交运行模式
本地模型运行
1/在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行
—-输入输出数据可以放在本地路径下(c:/wc/srcdata/)
—-输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2/在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行
—-输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)
—-输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式运行
1/将工程打成jar包,上传到服务器,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
2/在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:
—-在工程src目录下加入 mapred-site.xml 和 yarn-site.xml
—-将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 conf.set(“mapreduce.job.jar”,”wc.jar”);
3/在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改
—-要在windows中存放一份hadoop的安装包(解压好的)
—-要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
—-再要配置系统环境变量 HADOOP_HOME 和 PATH
—-修改YarnRunner这个类的源码
不推荐windows系统下运行程序!!!
2.4 Job提交流程
3、编写代码需要导入的包
1、公共包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\common\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\common目录下的
2、HDFS包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\hdfs\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jar
3、MapReduce包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\mapreduce\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\mapreduce目录下的
4、YARN包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\yarn\lib目录下的所有包
hadoop-2.4.1\hadoop-2.4.1\share\hadoop\yarn目录下的