命令行中实现mapreduce经典入门程序wordcount,输入输出均为hdfs

在Hadoop环境中,使用Java SDK编写并执行WordCount程序,包括创建Mapper、Reducer及主类,将文本数据上传至HDFS,编译Java源码,生成jar包并运行。通过HDFS命令查看结果,完成数据统计。运行完成后记得清理output目录。
摘要由CSDN通过智能技术生成

实验环境:hadoop+java jdk+ubuntu

准备数据文件
新建一个叫test的文本文件
pass:gedit 是一款文本编辑器,非常好用,没有的可以改为vi或vim
在这里插入图片描述

内容随便输

a b d aaa
das fs aa
ddd fssf
fsa aa
www werf
faa

在这里插入图片描述
编写代码

同样的,新建一个WordCountMapper.java,WordCountReducer.java,WordCount.java
在这里插入图片描述
并将以下代码复制进去

WordCountMapper.java

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
import java.util.StringTokenizer;

public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable>{
   
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
   
        //得到输入的每一行数据
        String line=value.toString();

        StringTokenizer st=new StringTokenizer(line);
        while (st.hasMoreTokens()){
   
            String word= st.
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值