1.前置要求
IDEA,JDK1.7+,Maven3.3.9+
我们在编程之前,先准备一份hello.txt文件(放在虚拟机Linux系统下),用来后续的编程测试,内容随便写点就行,单词和单词之间以空格分隔。
hadoop welcome
hadoop hdfs mapreduce
hadoop hdfs
2.代码编写
package com.imooc.hadoop.mapreduce;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
* 使用MapReduce开发WordCount应用程序
*/
public class WordCount2App {
/**
* Map:读取输入的文件
* LongWritable:文件的偏移量,第一行从0开始,第二行就是0+第一行出现的字符数
* Text:一行一行的数据
* Mapper 的四个参数:输入的key,输入的value,输出的key,输出的value
*/
public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
LongWritable one = new LongWritable(1);
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//接受到的每一行的数据
String line = value.toString();
//按照指定分隔符进行拆分
String[] words = line.split(" ");
for (String word : words) {
//通过上下文把map的处理结果输出
context.write(new Text(word), one);
}
}
}
/**
* Reduce:归并操作
* Reduce 的四个参数:输入的key,输入的value,输出的key,输出的value
*/
public static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
long sum = 0;
for (LongWritable value : values) {
//求key出现的次数总和
sum += value.get();
}
//最终统计结果的输出
context.write(key, new LongWritable(sum));
}
}
/**
* 定义Driver:封装了MapReduce作业的所有信息
* @param args
*/
public static void main(String[] args) throws Exception {
//创建Configuration
Configuration configuration = new Configuration();
//准备清理已存在的输出目录,如果不清理,第二次就会因为输出目录存在而报错
Path outputPath = new Path(args[1]);
FileSystem fileSystem = FileSystem.get(configuration);
if (fileSystem.exists(outputPath)) {
fileSystem.delete(outputPath, true); //递归删除已创建的目录
System.out.println("output file exists, but is has deleted");
}
//创建Job,jobName随便填就行
Job job = Job.getInstance(configuration, "wordcount");
//设置job的处理类
job.setJarByClass(WordCount2App.class);
//设置作业处理的输入路径
FileInputFormat .setInputPaths(job, new Path(args[0]));
//设置map相关参数
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class); //要和map的输出参数的类型对应
job.setMapOutputValueClass(LongWritable.class);
//设置reduce相关参数
job.setReducerClass(MyReducer.class);
job.setOutputKeyClass(Text.class); //要和reduce的输出参数的类型对应
job.setOutputValueClass(LongWritable.class);
//设置作业处理的输出路径
FileOutputFormat.setOutputPath(job, new Path(args[1]));
//提交job运行,true表示将运行进度等信息及时输出给用户
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
这里呢,我们文件的输入路径和输出路径都是要在提交到YARN上运行的时候指定。
3.打包提交到YARN上运行
第一步,我们把这个项目打成jar包,打包方式有很多,我们可以在IDEA打开Terminal终端输入“mvn clean package -DskipTests”
第二步,我们可以在左边的目录结构中的target目录下,找到hadoop-train-1.0.jar,用Xftp工具上传到Linux虚拟机上即可。
第三步,因为我们要用到HDFS和YARN,所以我们先把这两个启动起来,进入hadoop下的sbin目录,"./start-all.sh",然后查看一下进程“jps”,理论上除了Jps,会有5个新的进程。
第四步:我们把hello.txt上传到HDFS中,“hadoop fs -put hello.txt /”,这样我们就传到了HDFS的根目录下。
第五步:执行如下命令,其中具体参数可以根据自己情况修改
hadoop jar ~/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.WordCount2App hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc
~/lib/hadoop-train-1.0.jar:是我们jar包的路径
com.imooc.hadoop.mapreduce.WordCount2App:是我们的主类的全路径
hdfs://hadoop000:8020/hello.txt:输入路经,HDFS中hello.txt的路径
hdfs://hadoop000:8020/output/wc:输出路径,HDFS中存放结果的路径
第六步:查看结果,到HDFS的/output/wc目录下查看结果,结果如下。