通过Java编写MapReduce程序,统计班级同学的上课次数(在txt文件中,同学的名字出现一次,表明同学就上课一次),最后输出到一个文件中;

题目*
通过Java编写MapReduce程序,统计班级同学的上课次数(在txt文件中,同学的名字出现一次,表明同学就上课一次),最后输出到一个文件中
本题声明:
1.采用Linux系统
2.已搭建好的hadoop集群
3.使用java编写MapReduce程序
题目分析:
1.编写MapReduce程序
2.hadoop调用MapReduce程序的数据源要上传至集群当中
一、首先将该题的数据源上传至集群
我已经将数据源复制到了Linux系统内(五个txt文件代表五个不同的班级)在这里插入图片描述
每一个txt文件中都是学生的姓名
在这里插入图片描述
(1)在集群创建空目录,用于存放该题的数据源文件
命名:hadoop fs -mkdir -p /zs/java/input/input6/
在这里插入图片描述
集群中的空目录创建成功
在这里插入图片描述

(2)将该题的数据源上传至创建的空目录中
(就在该数据源的文件夹内使用hadoop命名)
命名:hadoop fs -put get*.txt /zs/java/input/input6/
get*.txt 代表了 getclass1.txt – getclass5.txt 这五个txt文件
在这里插入图片描述
数据源文件上传成功
在这里插入图片描述
这道题的数据源已经上传成功了,接下来就是编写MapReduce程序

二、创建java项目编写MapReduce程序
(1)创建java项目并导入连接hadoop的jar包
我创建的是一个名为Six的java项目(项目名可自行设置)
在这里插入图片描述
为该项目导入连接hadoop的jar包
File --> Project Structure --> Modules --> Dependencies
选择右边的+号点击:JARs or directories,找到已准备好的lib包并选中点击ok
(没有lib包的联系我,我发给你,lib包一般存放在 “ /opt/software/ ” 下)
在这里插入图片描述
在这里插入图片描述
(2)使用java编写MapReduce程序
按照mapreduce编程规范,分别编写Mapper,Reducer,Driver。

定义一个WordcountMapper.java类
代码如下:

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

/**
 * KEYIN:默认情况下,是mr框架所读到的一行文本的起始偏移量,Long;
 * 在hadoop中有自己的更精简的序列化接口,所以不直接用Long,而是用LongWritable
 * VALUEIN:默认情况下,是mr框架所读到的一行文本内容,String;此处用Text
 *
 * KEYOUT:是用户自定义逻辑处理完成之后输出数据中的key,在此处是单词,String;此处用Text
 * VALUEOUT,是用户自定义逻辑处理完成之后输出数据中的value,在此处是单词次数,Integer,此处用IntWritable
 * @author Administrator
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值