(三)Hadoop简单应用 单词统计

目录

0 上传被统计的文件

1 编码

2 运行

3 结果展示

4 代码


用Eclipse的配置可以参考 win10 Eclipse上配置Hadoop

0 上传被统计的文件

通用代码:

start-all.cmd  // 启动Hadoop

hadoop fs -put [本地文件路径] [hdfs上的路径]  // 上传文件
 
hadoop fs -put D:\word.txt /user/root/input // 举栗子

1 编码

(相关代码在文末)

①新建项目:File->new->other->Map/Reduce Project(不要选成java project啦)

②在src目录下新建一个package,Package下创建java类 WordCount.java

③WordCount.java写入统计代码     WordCount代码

④同时要在src目录下新建一个log4j.properties文件,避免报错。没找到这个后缀,可以先在桌面新建TXT文件,然后改名,再剪切到项目src目录下。    log4j代码

      

2 运行

项目右键→Run as→Run Configurations→Java Application(双击新建)

② 如下面两张图配置,最后Apply→run

3 结果展示

PS:可以看到还是有一些问题,比如英文中的.?!之类的符号没有被识别出来。可以改进一下。

4 代码

参考:windows10上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例

WordCount代码

// WordCount.java

package wordCount; // 注意自定义的包名

import java.io.IOException;
import java.util.StringTokenizer;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
 
 
public class WordCount {
 
    // Map 映射
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
 
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);  // 写入文档
            }
        }
    }
    
    // Reduce 合并统计
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();
 
        public void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }
 
    // main
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: wordcount <in> <out>");
            System.exit(2);
        }
        @SuppressWarnings("deprecation")
		Job job = new Job(conf, "word count"); // 创建新job

        job.setJarByClass(WordCount.class);

        // map/reduce
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);

        // 输入输出
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

log4j代码

// log4j.properties
// 可以先在桌面新建TXT文件,然后改名,再剪切到项目src目录下。

# Configure logging for testing:optionally with log file 
#log4j.rootLogger=debug,appender 
log4j.rootLogger=info,appender 
#log4j.rootLogger=error,appender 
#\u8F93\u51FA\u5230\u63A7\u5236\u53F0 
log4j.appender.appender=org.apache.log4j.ConsoleAppender 
#\u6837\u5F0F\u4E3ATTCCLayout 
log4j.appender.appender.layout=org.apache.log4j.TTCCLayout

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值