1WordCount&2合并相同&3共同好友

最新推荐文章于 2020-11-02 11:27:48 发布
最新推荐文章于 2020-11-02 11:27:48 发布
阅读量128 收藏
点赞数
分类专栏： hadoop-Mr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42796847/article/details/100138335
版权

1.WordCount

①将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成<key,value>对儿。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数（Windows和Linux环境会不同）。
在这里插入图片描述
②将分割好的<key,value>对交给用户定义的map方法进行处理，生成新的<key,value>对儿。

在这里插入图片描述
③ 得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key相同的value值累加，得到Mapper的最终输出结果。
在这里插入图片描述
④ Reducer先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的<key,value>对，并作为WordCount的输出结果。
在这里插入图片描述
在这里插入图片描述

package com.mr.day05.test03;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;


import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class mrtest3 {
    public  static   class  map03 extends Mapper<LongWritable, Text,Student, NullWritable> {




        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {


                String[] vsplit = value.toString().split(",");
            if (vsplit.length>=3){
                Student student = new Student();
                Double sum=0.0;
                int num = vsplit.length - 2;
                for (int i=2;i<vsplit.length;i++){

                    sum+=Double.valueOf(vsplit[i]);

                }
               Double avescore=sum/num;


                student.setSubject(vsplit[0]);
                student.setName(vsplit[1]);
                student.setAvescore(avescore);

                //System.out.println(student);
                context.write(student,NullWritable.get());


            }


        }
    }


    public static class Reduce03 extends Reducer<Student,NullWritable,Student, NullWritable> {

        protected void reduce(Student key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
            //System.out.println(key);

           context.write(key,NullWritable.get());
        }



    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();
        //conf.set("fs.defaultFS","hdfs://master:9000");

        Job job = Job.getInstance(conf);

        job.setJarByClass(mrtest3.class);

        job.setMapperClass(map03.class);
        job.setReducerClass(Reduce03.class);

        job.setNumReduceTasks(4);
        job.setPartitionerClass(SubjectPadrtitioner.class);
        //指定map和reduce输出数据的类型
        job.setMapOutputKeyClass(Student.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(Student.class);
        job.setOutputValueClass(NullWritable.class);



        FileInputFormat.setInputPaths(job,new Path("D:\\上课\\hadoop\\2019.08.28-05mapReduce的各种案例\\Test\\03-分组TopN\\input01"));

        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path("D:\\上课\\hadoop\\2019.08.28-05mapReduce的各种案例\\Test\\03-分组TopN\\output01");


        if (fs.exists(outPath)){
            fs.delete(outPath,true);
        }

        FileOutputFormat.setOutputPath(job,outPath);

        job.submit();
    }

}
结果图:

在这里插入图片描述

2合并相同

在这里插入图片描述

package com.mr.day03.test02;


        import org.apache.hadoop.conf.Configuration;
        import org.apache.hadoop.fs.FileSystem;
        import org.apache.hadoop.fs.Path;
        import org.apache.hadoop.io.IntWritable;
        import org.apache.hadoop.io.LongWritable;
        import org.apache.hadoop.io.Text;
        import org.apache.hadoop.mapreduce.Job;
        import org.apache.hadoop.mapreduce.Mapper;
        import org.apache.hadoop.mapreduce.Reducer;
        import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
        import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

// long    LongWritable
// String  Text
// int     IntWritable
        import java.io.IOException;

public class sumTest {
    // KEYIN   每一行数据的起始位置，行偏移量
    // VALUEIN 每一行数据
    // KEYOUT  map端输出数据中key的类型
    // VALUEOUT map端输出数据中value的类型
    public static class WcMapper extends Mapper<LongWritable, Text,Text, IntWritable>{


        // key    行偏移量
        // value  每行的数据
        // context  上下文，就是将我们map处理完以后的数据，发送出去。
        protected void map(LongWritable key ,Text value ,Context context) throws IOException, InterruptedException {

            if (key.get()!=0){
                String name = value.toString().split(",")[0];
                String val = value.toString().split(",")[1];
                Integer integer = Integer.valueOf(val);


                context.write(new Text(name),new IntWritable(integer));



            }


        }


    }


    // KEYIN  reduce端接受数据中key的类型
    // VALUEIN  reduce端接受数据中value的类型
    // KEYOUT   reduce端输出数据中key的类型
    // VALUEOUT  reduce端输出数据中value的类型
    public static class WcReduce extends Reducer<Text,IntWritable,Text,IntWritable>{

        // key  就是reduce端接受数据中map的类型
        // values  相同key的value集合
        // context  上下文，就是将我们reduce处理完以后的数据，发送出去。
        protected void  reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum=0;
            for(IntWritable value:values){

                sum += value.get();

            }

            context.write(key,new IntWritable(sum));


        }


    }


    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();
        //conf.set("fs.defaultFS","hdfs://master:9000");

        Job job = Job.getInstance(conf);

        job.setJarByClass(sumTest.class);

        job.setMapperClass(WcMapper.class);
        job.setReducerClass(WcReduce.class);

        //指定map和reduce输出数据的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);



        FileInputFormat.setInputPaths(job,new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\02-合并相同\\input01"));

        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\02-合并相同\\output01");


        if (fs.exists(outPath)){
            fs.delete(outPath,true);
        }

        FileOutputFormat.setOutputPath(job,outPath);

        job.submit();
    }

}
结果图:

在这里插入图片描述

3.共同好友

在这里插入图片描述

(1)

package com.mr.day03.test03;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Test03 {
    public static class Mapper01 extends Mapper<LongWritable, Text,Text,Text>{

        protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {

            String[] split = value.toString().split(":");

            String skey=split[0];

            String[] svalue = split[1].split(",");

            for (String val:svalue){

                context.write(new Text(val),new Text(skey));



            }



        }
    }

    public static class Reduce01 extends Reducer<Text,Text,Text,Text> {

        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            StringBuilder sd =new StringBuilder();
            for (Text val:values){

                sd.append(val).append(",");


            }

            context.write(key,new Text(sd.toString()));

        }
    }




    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();
        //conf.set("fs.defaultFS","hdfs://master:9000");

        Job job = Job.getInstance(conf);

        job.setJarByClass(Test03.class);

        job.setMapperClass(Mapper01.class);
        job.setReducerClass(Reduce01.class);

        //指定map和reduce输出数据的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);



        FileInputFormat.setInputPaths(job,new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\03-共同好友\\inupt03"));

        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\03-共同好友\\outupt03");


        if (fs.exists(outPath)){
            fs.delete(outPath,true);
        }

        FileOutputFormat.setOutputPath(job,outPath);

        job.submit();
    }

}
第一次MR后:

在这里插入图片描述
(2)

package com.mr.day03.test03;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Test04 {


    public static class Mapper02 extends Mapper<LongWritable, Text,Text,Text> {

        protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {

            String[] split = value.toString().split("\t");

         String   keys=split[0];
         String   vals=split[1];

            String[] sp = vals.split(",");
            for (int i=0;i<sp.length;i++){
                String s1 = sp[i];


                for (int k=i+1;k<sp.length;k++){
                    StringBuilder sb=new StringBuilder();
                    String s2 = sp[k];
                    if(s1.charAt(0)<s2.charAt(0))
                    sb.append(s1).append("-").append(s2);
                    if(s1.charAt(0)>s2.charAt(0))
                        sb.append(s2).append("-").append(s1);
                    context.write(new Text(sb.toString()),new Text(keys));
                }


            }

        }
    }

    public static class Reduce02 extends Reducer<Text,Text,Text,Text> {

        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            StringBuilder sd =new StringBuilder();
            for (Text val:values){

                sd.append(val).append(",");


            }

            context.write(key,new Text(sd.toString()));

        }
    }



    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();
        //conf.set("fs.defaultFS","hdfs://master:9000");

        Job job = Job.getInstance(conf);

        job.setJarByClass(Test04.class);

        job.setMapperClass(Mapper02.class);
        job.setReducerClass(Reduce02.class);

        //指定map和reduce输出数据的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);



        FileInputFormat.setInputPaths(job,new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\03-共同好友\\outupt03"));

        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path("D:\\上课\\hadoop\\2019.08.26-03mapReduce简单代码\\test\\03-共同好友\\outupt04");


        if (fs.exists(outPath)){
            fs.delete(outPath,true);
        }

        FileOutputFormat.setOutputPath(job,outPath);

        job.submit();
    }

}
最后结果图:

在这里插入图片描述

好先生！！！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Hadoop基础教程】5、Hadoop之单词计数
andieguo的专栏
03-04 8547
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“Hello World”，该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能：统计一系列文本文件中每个单词出现的次数，如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。
hadoop wordcount求共同好友代码实现
夜下探戈
03-16 475
package com.Practice.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; impor...
hadoop案例:NLine (分行统计)
张国荣家的弟弟
11-02 882
文章目录需求输入数据期望输出数据需求分析编写代码Mapper类Reducer类Driver类执行结果 需求 对每个单词进行个数统计，要求根据每个输入文件的行数来规定输出多少个切片。此案例要求每三行放入一个切片中。 输入数据 Nu.txt banzhang ni hao xihuan hadoop banzhang banzhang ni hao xihuan hadoop banzhang banzhang ni hao xihuan hadoop banzhang banzhang ni hao xih
MapReduce编程(二) 文件合并和去重
热门推荐
我只是一个简单的Coder，为了兴趣和理想奋斗在生活的道路上
03-02 1万+
file1.txt中的内容:20150101 x 20150102 y 20150103 x 20150104 yfile2.txt中的内容:20150105 z 20150106 x 20150101 y 20150102 yfile3.txt中的内容:20150103 x 20150104 z 20150105 ...
大数据||MapReduce之wordcount处理过程
weixin_33898876的博客
02-12 140
文件分割 将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成<key,value>对，下图所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数（Windows/Linux环境不同）。 image.pn...
转: 并行计算模型和框架
weixin_33883178的博客
08-05 494
from:  http://www.ibm.com/developerworks/cn/analytics/library/ba-1507-mapreducefiveframes/index.html   并行计算模型和框架 目前开源社区有许多并行计算模型和框架可供选择，按照实现方式、运行机制、依附的产品生态圈等可以被划分为几个类型，每个类型各有优缺点，如果能够对各类型的并行计算框架都进行深...
WordCount2_hadoopwordcount_
10-01
在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本，通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词，统计每个单词出现的次数，并将结果输出。在这个过程中...
实验2-在Hadoop平台上部署WordCount程序1
08-08
【标题】：在Hadoop平台上部署WordCount程序的详解 【描述】：本实验旨在让学生掌握如何在Hadoop平台上部署并运行WordCount程序，这是Hadoop入门的经典案例，旨在统计文本中的单词出现次数。通过实践，学生将了解...
实验2-在Hadoop平台上部署WordCount程序-孙淼1
08-03
实验2的目的是在Hadoop平台上部署WordCount程序，以此来理解和体验云计算的基础应用。这个实验主要涉及以下几个关键知识点： 1. **Linux系统基础**：实验要求学生具备Linux系统的使用知识，包括基本的命令行操作、...
WordCount2
03-15
《WordCount2——深入探索C#编程中的文本处理与统计技术》 在计算机科学领域，文本处理是一项基础且重要的任务，特别是在大数据分析、信息检索以及自然语言处理中扮演着关键角色。本文将聚焦于名为"WordCount2"的...
sorting-wordcount:多线程外部排序&词频统计
07-14
多线程外部排序&wordcount 版权所有 (c) 2014，龙 (Ryan) 南宫。 保留所有权利。 邮箱： 创建时间：2014 年 10 月 9 日共享内存多线程外部排序和词频统计。 a) 使用 Makefile 编译源代码。 b) 通过修改源代码顶部的...
chromedriver-mac-arm64_126.0.6474.0.zip
07-31
chromedriver-mac-arm64_126.0.6474.0.zip
chromedriver-mac-arm64_128.0.6548.0.zip
07-31
chromedriver-mac-arm64_128.0.6548.0.zip
MySQL查询加速器：利用Query Cache提升效率
07-31
MySQL是一个流行的开源关系型数据库管理系统（RDBMS），广泛用于Web应用程序的后端数据存储。它基于结构化查询语言（SQL）来管理数据，并且是LAMP（Linux, Apache, MySQL, PHP/Python/Perl）技术栈的一部分，这个技术栈常用于构建动态网站和Web应用程序。 MySQL的特点包括： - **开放源代码**：MySQL的源代码是公开的，任何人都可以自由使用和修改。 - **跨平台**：MySQL可以在多种操作系统上运行，包括Linux、Windows、macOS等。 - **高性能**：MySQL以其快速的查询处理和良好的性能而闻名。 - **可靠性**：MySQL提供了多种机制来确保数据的完整性和可靠性，包括事务支持、备份和恢复功能。 - **易于使用**：MySQL提供了简单直观的界面和丰富的文档，便于用户学习和使用。 - **可扩展性**：MySQL支持从小型应用到大型企业级应用的扩展。 - **社区支持**：由于其广泛的使用，MySQL拥有一个活跃的开发者社区，提供大量的资源和支持。 MySQL被广泛应用于各种场景，包括在线事务处理（OL
Objective-C语言的基础教程.md
最新发布
07-31
Objective-C是一种面向对象的编程语言，是C语言的扩展。它主要用于苹果的iOS和macOS应用程序开发。
暂存暂存暂存暂存暂存暂存暂存暂存
07-31
暂存暂存暂存暂存暂存暂存暂存暂存
Java实现HTTP断点续传的多线程安全解决方法.zip
07-31
Java实现HTTP断点续传的多线程安全解决方法
数据库课程设计报告-宿舍信息管理系统.doc
07-31
系统要处理的对象包括宿舍楼基本信息、学生基本信息、宿舍基本信息、楼栋管理员基本信息、物品出入基本信息等五个方面，各个对象包括信息如下所示（详细的数据见于数据字典）： 1．学生基本信息(Student)：包括 学生编号、学生所在学院信息、学生姓名、学生性别、学生来自省份、学生出生日期、学生入学时间、学生所学专业、所在班级等方面的信息，可以方便学生信息的查询和更新； 2．宿舍楼基本信息(Dormitory)：包括 宿舍楼编号、每一幢宿舍楼楼管处的电话、宿舍楼楼管员信息、宿舍楼性别分类信息等方面，这样可以方便管理者对宿舍楼的管理，提高查询效率； 3．宿舍基本信息(Room)： 包括 宿舍编号、舍长信息、舍员信息、楼栋号； 4．楼栋管理员基本信息(Worker)：包括 工作人员编号、工作人员姓名、工作类型、工资、性别、联系方式、工作时间等数据项，可以方便管理人员对宿舍楼道工人的任用、信息查询及更改； 6．物品出入基本信息(ArticalInOut)：包括出入物品的学生信息、出入的物品信息、出入物品时的负责人信息、出入物品时间，尽量减少宿舍事故的发生，保障学生宿舍财产的安全。
Java面试经验、面试技巧、常见面试知识点整理。.zip
07-31
Java面试经验、面试技巧、常见面试知识点整理。
第1关：WordCount词频统计
10-09
好的，我明白了。那么，第1关的问题是：如何实现词频统计（WordCount）？ 要实现词频统计，可以按照以下步骤进行： 1. 将要统计的文本按照空格分割成单词列表。 2. 创建一个空字典，用于存储每个单词及其出现次数。 3. 遍历单词列表，对于每个单词： - 如果单词已经在字典中，则将该单词的出现次数加1。 - 如果单词不在字典中，则将该单词添加到字典中，并将其出现次数初始化为1。 4. 统计完毕后，可以按照出现次数从高到低对字典进行排序，并输出词频统计结果。 以下是一个示例代码： ```python def word_count(text): words = text.split() # 将文本按照空格分割成单词列表 word_freq = {} # 创建空字典 for word in words: if word in word_freq: word_freq[word] += 1 else: word_freq[word] = 1 sorted_word_freq = sorted(word_freq.items(), key=lambda x: x[1], reverse=True) return sorted_word_freq text = "I have a pen. I have an apple. Apple pen!" result = word_count(text) for word, freq in result: print(f"{word}: {freq}") ``` 这段代码会输出以下结果： ``` I: 2 have: 2 an: 2 pen.: 1 a: 1 apple.: 1 Apple: 1 pen!: 1 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值