通过Java编写MapReduce程序，统计班级同学的上课次数（在txt文件中，同学的名字出现一次，表明同学就上课一次），最后输出到一个文件中；

题目*
通过Java编写MapReduce程序，统计班级同学的上课次数（在txt文件中，同学的名字出现一次，表明同学就上课一次），最后输出到一个文件中
本题声明：
1.采用Linux系统
2.已搭建好的hadoop集群
3.使用java编写MapReduce程序
题目分析：
1.编写MapReduce程序
2.hadoop调用MapReduce程序的数据源要上传至集群当中
一、首先将该题的数据源上传至集群
我已经将数据源复制到了Linux系统内(五个txt文件代表五个不同的班级)
每一个txt文件中都是学生的姓名

（1）在集群创建空目录，用于存放该题的数据源文件
命名：hadoop fs -mkdir -p /zs/java/input/input6/

集群中的空目录创建成功

（2）将该题的数据源上传至创建的空目录中
(就在该数据源的文件夹内使用hadoop命名)
命名：hadoop fs -put get*.txt /zs/java/input/input6/
get*.txt 代表了 getclass1.txt – getclass5.txt 这五个txt文件

数据源文件上传成功

这道题的数据源已经上传成功了，接下来就是编写MapReduce程序

二、创建java项目编写MapReduce程序
（1）创建java项目并导入连接hadoop的jar包
我创建的是一个名为Six的java项目(项目名可自行设置)

为该项目导入连接hadoop的jar包
File --> Project Structure --> Modules --> Dependencies
选择右边的+号点击：JARs or directories，找到已准备好的lib包并选中点击ok
（没有lib包的联系我，我发给你，lib包一般存放在 “ /opt/software/ ” 下）


（2）使用java编写MapReduce程序
按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。

定义一个WordcountMapper.java类
代码如下：

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

/**
 * KEYIN:默认情况下，是mr框架所读到的一行文本的起始偏移量，Long;
 * 在hadoop中有自己的更精简的序列化接口，所以不直接用Long，而是用LongWritable
 * VALUEIN:默认情况下，是mr框架所读到的一行文本内容，String;此处用Text
 *
 * KEYOUT:是用户自定义逻辑处理完成之后输出数据中的key,在此处是单词，String；此处用Text
 * VALUEOUT，是用户自定义逻辑处理完成之后输出数据中的value，在此处是单词次数，Integer，此处用IntWritable
 * @author Administrator
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
    /**
     * map阶段的业务逻辑就写在自定义的map()方法中
     * maptask会对每一行输入数据调用一次我们自定义的map（）方法
     */
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        // 1 将maptask传给我们的文本内容先转换成String
        String line = value.toString();

        // 2 根据空格将这一行切分成单词
        String[] words = line.split(" ");

        // 3 将单词输出为<单词，1>
        for(String word:words){
            // 将单词作为key，将次数1作为value,以便于后续的数据分发，可以根据单词分发，以便于相同单词会到相同的reducetask中
            context.write(new Text(word), new IntWritable(1));
            //以上的内容写到maptask的缓冲区，对缓冲区的数据分区、合并、排序，最后都处理完成后才到reducetask
        }
    }
}

定义一个WordcountReducer.java类
代码如下：

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

/**
 * KEYIN , VALUEIN 对应mapper输出的KEYOUT, VALUEOUT类型
 *
 * KEYOUT，VALUEOUT 对应自定义reduce逻辑处理结果的输出数据类型 KEYOUT是单词 VALUEOUT是总次数
 * @author Administrator
 */
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    /**
     * key，是一组相同单词kv对的key
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException {

        int count = 0;

        // 1 汇总各个key的个数
        for(IntWritable value:values){
            count +=value.get();
        }

        // 2输出该key的总次数
        context.write(key, new IntWritable(count));
    }
}

定义一个主类WordcountDriver.java，用来描述job并提交job
代码如下：

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 相当于一个yarn集群的客户端，
 * 需要在此封装我们的mr程序相关运行参数，指定jar包
 * 最后提交给yarn
 * @author Administrator
*/
public class WordcountDriver {
	public static void main(String[] args) throws Exception {
		// 1 获取配置信息，或者job对象实例
		Configuration configuration = new Configuration();
		// 8 配置提交到yarn上运行,windows和Linux变量不一致
//		configuration.set("mapreduce.framework.name", "yarn");
//		configuration.set("yarn.resourcemanager.hostname", "hadoop103");
		Job job = Job.getInstance(configuration);
		
		// 6 指定本程序的jar包所在的本地路径
//		job.setJar("/home/atguigu/wc.jar");
		job.setJarByClass(WordcountDriver.class);
		
		// 2 指定本业务job要使用的mapper/Reducer业务类
		job.setMapperClass(WordcountMapper.class);
		job.setReducerClass(WordcountReducer.class);
		
		// 3 指定mapper输出数据的kv类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 4 指定最终输出的数据的kv类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		// 5 指定job的输入原始文件所在目录
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		// 7 将job中配置的相关参数，以及job所用的java类所在的jar包， 提交给yarn去运行
//		job.submit();
		boolean result = job.waitForCompletion(true);
		System.exit(result?0:1);
	}
}

MapReduce的所有java类已创建成功

三、将编写的MapReduce程序打包并上传至，启动集群的Linux系统中
我这里是：hadoop111，hadoop112
Idea中打包 java程序：
File --> Project Structure --> Artifacts --> + -->JAR --> From modules with dependencies
随后在Main Class中选择 WordcountDriver，随后点击OK

点击Ok后，再点击OK

点击ok后，选择: Build --> Build Artifacts --> Build

然后耐心等待一会
在左侧会自动生成一个out的文件，点击： out —> artifacts —> Six_ jar
即可查看是否打包成功

打包后在Linux系统中的 /root/ 下面找到 ideaProjects

然后点击 IdeaProjects --> Six --> out --> artifacts -->Six_jar
找到已打好的jar包

在该目录下，右击打开终端输入scp命名，将jar包上传至启动集群的hadoop111的Linux系统中"/opt/software/" 文件夹下
SCP 命名：scp Six.jar root@hadoop111:/opt/software/

查看文件是否传输成功

执行zip命名对该包进行删除两个会使程序出错的文件
ZIP命名：
zip -d Six.jar META-INF/.RSA META-INF/.SF

就在该目录下使用hadoop调用该包，对集群中的数据源文件进行班级同学姓名统计
hadoop命名：
hadoop jar Six.jar /zs/java/input/input6/ /zs/java/output/output6
（/zs/java/input/input6/ 代表的是这道题的数据源，数据源在前面已经上传）
（/zs/java/output/output6 代表hadop调用jar包将数据源文件处理后的文件存放位置）
执行结果，执行结果在集群中查看
查看位置为 hadoop调用jar包将数据源文件处理后的文件存放位置
(/zs/java/output/output6)
hadoop调用jar包执行效果为：