HNU2022夏季小学期大数据并行处理MapReduce任务

最新推荐文章于 2024-08-13 22:49:19 发布
最新推荐文章于 2024-08-13 22:49:19 发布
阅读量632 收藏 5
点赞数 1
分类专栏： 大数据并行处理 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S0609/article/details/125579650
版权

文章目录

0 说明

默认已经安装好了Hadoop集群，切配置和下面链接一致

https://blog.csdn.net/S0609/article/details/125566918

这里就是利用hadoop完成几个简单的MapReduce任务。

1 连接hadoop

利用idea的插件Big data tools连接到hadoop集群的hdfs。hdfs可以理解为电脑的磁盘空间，而这个插件其实就是一个可视化插件，就是方便让你看见hadoop的磁盘文件。

1 安装

image-20220630163541224

直接到插件商店安装就行。

2 配置环境变量

连接到hadoop本地也需要一些环境变量，但是只需要一些基础的就行，不需要完全按照，下载文件不大，就一个bin目录。

下载地址：

https://pan.baidu.com/s/1FY6h9DANQ2u_syyXyyWHgQ

提取码：ybum

image-20220630164309299

添加环境变量：路径自己看着改

HADOOP_HOME

image-20220630164429071

%HADOOP_HOME%\bin

image-20220630164542541

再将hadoop.dll复制一份放到c盘window文件夹下

C:\Windows\System32

image-20220630164718351

最后双击：

image-20220630164750629

一闪而过是正常的。

3 连接HDFS

image-20220630164948500

image-20220630165040290

选完之后，下面就会出现两个框框

第一个里面写的是地址，写哪个地址了？看下面
浏览器输出http://192.168.206.200:9870（注意输入你的地址）
看下面红色框框里面的，就写那个

image-20220630165238428

下面的username是指你在linux里面的地址

image-20220630165324617

image-20220630165442450

4 连Hadoop

image-20220630165549971

改一个地方就行

image-20220630165633815

5 测试

本身就是一个可视化工具，出现了可视化就是成功了。

image-20220630165712408

2 输入文件准备

作业一共有四个，我是先把输入文件放到hdfs中，然后本地编写代码，设置成集群模式，输出也到hdfs中，通过bigdatatoos可以看见。

有几种方式把文件放到集群中。

1 先通过Xftp放入虚拟机，然后通过hadoop指令放进hdfs中，hadoop指令可以参考以下网站：

https://blog.csdn.net/weixin_39760689/article/details/111487683

其实就是：

hadoop fs -put ~/a.txt /input1

这个办法比较笨，但是当时只会这种。如果大家看教程也使用这种吧。

2 JAVA的接口，这是第二个作业，我觉得放到第一个作业比较好。我这里也不说多，第二个作业也要写，大家就用第一张吧。

3 建MAVEN工程

可以自按照maven，懒的话也可以用idea自带的maven都一样，只不过自带的会把包下载到C盘。如果想自己装可参考以下教程：

https://blog.csdn.net/fl6881688/article/details/121353872

1 建工程

image-20220630172329151

image-20220630172358638

2 导依赖

image-20220630172510004

在里面插入以下内容：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.map</groupId>
    <artifactId>MapReduceDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.3.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.3.0</version>
        </dependency>

    </dependencies>

</project>

image-20220630172628983

等待下载完成，下载的时间执行下面，在目录下建五个文件，分别输入以下内容，其实就是虚拟机hadoop的配置文件，都是一样的。

image-20220630172722903

从虚拟机中hadoop安装目录下

/etc/hadoop

中拿出这四个文件，然后复制粘贴到该目录下就行。

image-20220630173013971

log4j.properties中输入：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

这样环境基本就配好了。

4 任务一：数据去重

1 任务说明

对数据文件中的数据进行去重。数据文件中的每行都是一个数据。

2 输入

1）file1： 
2012-3-1 a
2012-3-2 b
2012-3-3 c 
2012-3-4 d 
2012-3-5 a 
2012-3-6 b
2012-3-7 c
2012-3-3 c 


2）file2： 
2012-3-1 b
2012-3-2 a
2012-3-3 b
2012-3-4 d 
2012-3-5 a 
2012-3-6 c
2012-3-7 d
2012-3-3 c

3 输出：

2012-3-1 a
2012-3-1 b
2012-3-2 a
2012-3-2 b
2012-3-3 b
2012-3-3 c 
2012-3-4 d 
2012-3-5 a 
2012-3-6 b
2012-3-6 c
2012-3-7 c
2012-3-7 d

4 工程结构说明

image-20220630172026967

5 代码

代码不多，只要注意路径修改就行，一般都是三个类，map，reduce，和driver，driver其实就是主函数，把map和reduce阶段结合起来，形成一个job提交给集群。

只要修改Driver的路径基本就没问题。

DataDeMapper
package com.hadoop.task1;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
KEYIN:longwritable
VALUEIN:text
KEYOUT:text
VALUEOUT:intwritable
 */
public class DataDeMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
    private Text OutKey = new Text();
    private IntWritable OutV = new IntWritable(1);
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //获取一行
        String line = value.toString();
        //写出
            OutKey.set(line);
            context.write(OutKey,OutV);
    }
}
DataDeReducer
package com.hadoop.task1;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

//KEYIN:Text
//VALUEIN:intwritable
//KEYOUT:text
//VALUEOUT:intwritable
public class DataDeReducer extends Reducer<Text, IntWritable,Text,NullWritable>{
    private IntWritable OutV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum =0;

        //累加，集合形式 aa,(1,1,1)
        for (IntWritable value : values) {
            sum += value.get();
        }
        OutV.set(0);
        context.write(key,NullWritable.get());
    }
}
DataDeDriver
package com.hadoop.task1;

import com.hadoop.task2.DataSortDriver;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class DataDeDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1 获取job
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        conf.set("mapreduce.app-submission.cross-platform","true");
        conf.set("fs.default.name","hdfs://master:9000");
        Job job = Job.getInstance(conf);

        // 2 设置jar包路径
        job.setJar("D:\\Java\\hadoop\\project\\MapReduceDemo\\target\\MapReduceDemo-1.0-SNAPSHOT.jar");
        job.setJarByClass(DataSortDriver.class);

        // 3 关联mapper和reducer
        job.setMapperClass(DataDeMapper.class);
        job.setReducerClass(DataDeReducer.class);

        // 4  设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("/input1"));
        FileOutputFormat.setOutputPath(job,new Path("/output1"));

        // 7 提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);


    }
}

6 测试

写完后，生成jar包，所有类只需要修改Driver里面的路径就行，其他基本不用修改。

image-20220630230634595

运行Driver就行，可以看见

image-20220630173726953

在web端也能看见集群有任务完成：

（输入下面网站的前提是window的hosts文件中有master和虚拟机ip地址 的映射），也可把下面网站的master改成虚拟机的ip地址。

http://master:8088/

image-20220630173807991

5 任务二：数据排序

1 任务说明

对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。

2 输入

1）file1： 
 
2
32
654
32
15
756
65223


 2）file2： 
5956
22
650
92


3）file3： 
26
54
6

image-20220630174138923

3 输出

1    2
2    6
3    15
4    22
5    26
6    32
7    32
8    54
9    92
10    650
11    654
12    756
13    5956
14    65223

4 结构

image-20220630212109329

5 代码

SortBean
package com.hadoop.task2;

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class SortBean implements WritableComparable<SortBean> {
    private int num;
    private int value;

    public void setNum(int num) {
        this.num = num;
    }

    public int getNum() {
        return num;
    }

    public SortBean() {

    }

    public int getValue() {
        return value;
    }

    public void setValue(int value) {
        this.value = value;
    }

    @Override
    public int compareTo(SortBean o) {

        //数值的正序
        if (this.value < o.value) {
            return -1;
        } else if (this.value > o.value) {
            return 1;
        } else {
            return 0;
        }
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeInt(value);
        out.writeInt(num);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.value = in.readInt();
        this.num = in.readInt();
    }

    @Override
    public String toString() {
        return String.valueOf(num)+"    "+String.valueOf(value);
    }
}
DataSortMapper
package com.hadoop.task2;

import org.apache.commons.lang3.ObjectUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
KEYIN:longwritable
VALUEIN:text
KEYOUT:text
VALUEOUT:intwritable
 */
public class DataSortMapper extends Mapper<LongWritable, Text,SortBean, Text> {
    private SortBean sb = new SortBean();
    Text text = new Text("1");
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //获取一行
        String line = value.toString();
        sb.setValue(Integer.parseInt(line));
        sb.setNum(0);
        context.write(sb, text);

    }
}
DataSortReducer
package com.hadoop.task2;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

//KEYIN:Text
//VALUEIN:intwritable
//KEYOUT:text
//VALUEOUT:intwritable
public class DataSortReducer extends Reducer<SortBean,Text,NullWritable, SortBean>{
    private Text text = new Text();
    private int count=1;
    @Override
    protected void reduce(SortBean key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

        for (Text value : values) {
            key.setNum(count);
            text.set(Integer.toString(count));
            key.setNum(count);
            count=count+1;
            context.write(NullWritable.get(),key);
        }
    }
}
DataSortDriver
package com.hadoop.task2;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class DataSortDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1 获取job
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        conf.set("mapreduce.app-submission.cross-platform","true");
        conf.set("fs.default.name","hdfs://master:9000");
        Job job = Job.getInstance(conf);

        // 2 设置jar包路径
        job.setJar("D:\\Java\\hadoop\\project\\MapReduceDemo\\target\\MapReduceDemo-1.0-SNAPSHOT.jar");
        job.setJarByClass(DataSortDriver.class);

        // 3 关联mapper和reducer
        job.setMapperClass(DataSortMapper.class);
        job.setReducerClass(DataSortReducer.class);

        // 4  设置map输出的kv类型
        job.setMapOutputKeyClass(SortBean.class);
        job.setMapOutputValueClass(Text.class);

        // 5 设置最终输出的kv类型
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(SortBean.class);
//        job.setNumReduceTasks(0);

        // 6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("/input2"));
        FileOutputFormat.setOutputPath(job,new Path("/out2"));
//        FileInputFormat.setInputPaths(job,new Path("D:\\Java\\hadoop\\project\\MapReduceDemo\\src\\main\\java\\com\\hadoop\\task2\\input"));
//        FileOutputFormat.setOutputPath(job,new Path("D:\\Java\\hadoop\\project\\MapReduceDemo\\src\\main\\java\\com\\hadoop\\task2\\output"));

        // 7 提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);


    }
}

6 测试

写完后，生成jar包，所有类只需要修改Driver里面的路径就行，其他基本不用修改。

image-20220630230634595

运行Driver就行，可以看见

image-20220630230853788

6 任务三：求平均值

1 任务说明

对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。

2 输入

   1）math： 
 
张三    88
李四    99
王五    66
赵六    77


    2）china： 
 
张三    78
李四    89
王五    96
赵六    67


  3）english： 
 
张三    80
李四    82
王五    84
赵六    86

image-20220630231047081

3 输出

张三    82
李四    90
王五    82
赵六    76

4 结构

image-20220630231131101

5 代码

DataAvgDriver
package com.hadoop.task3;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class DataAvgDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1 获取job
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        //设置集群地址
        conf.set("fs.default.name","hdfs://master:9000");
        conf.set("mapreduce.app-submission.cross-platform","true");
        Job job = Job.getInstance(conf);

        // 2 设置jar包路径
        job.setJar("D:\\Java\\hadoop\\project\\MapReduceDemo\\target\\MapReduceDemo-1.0-SNAPSHOT.jar");
        job.setJarByClass(DataAvgDriver.class);


        // 3 关联mapper和reducer
        job.setMapperClass(DataAvgMapper.class);
        job.setReducerClass(DataAvgReducer.class);

        // 4  设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("/input3"));
        FileOutputFormat.setOutputPath(job,new Path("/output3"));

        // 7 提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);


    }
}
DataAvgMapper
package com.hadoop.task3;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
KEYIN:longwritable
VALUEIN:text
KEYOUT:text
VALUEOUT:intwritable
 */
public class DataAvgMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
    private Text OutKey = new Text();
    private IntWritable OutV = new IntWritable();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //获取一行
        String line = value.toString();
        //分割
        String[] words = line.split("    ");
        //写出
//        for (String word : words) {
//            System.out.println(word);
//        }
        OutKey.set(words[0]);
        OutV.set(Integer.parseInt(words[1]));
        context.write(OutKey, OutV);
    }

}
DataAvgReducer
package com.hadoop.task3;

import com.google.common.collect.Iterators;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

//KEYIN:Text
//VALUEIN:intwritable
//KEYOUT:text
//VALUEOUT:intwritable
public class DataAvgReducer extends Reducer<Text, IntWritable,Text,IntWritable>{
    private IntWritable OutV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum =0;
        int count=0;
        //累加，集合形式 小明,(80，90，100)
        for (IntWritable value : values) {
            sum += value.get();
            count++;
        }
        OutV.set(sum / count);
//        OutV.set(sum);
        context.write(key,OutV);
    }
}

6 测试

写完后，生成jar包，所有类只需要修改Driver里面的路径就行，其他基本不用修改。

image-20220630230634595

运行Driver就行，可以看见

image-20220630231407610

7 任务四：单表连接

1 任务说明

实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。

2 输入

file： 
 
child        parent 
Tom        Lucy
Tom        Jack
Jone        Lucy
Jone        Jack
Lucy        Mary
Lucy        Ben
Jack        Alice
Jack        Jesse
Terry        Alice
Terry        Jesse
Philip        Terry
Philip        Alma
Mark        Terry
Mark        Alma

image-20220630231541029

3 输出

grandchild        grandparent 
Tom            　　Alice
Tom            　　Jesse
Jone            　　Alice
Jone           　　 Jesse
Tom            　　Mary
Tom            　　Ben
Jone           　　 Mary
Jone           　　 Ben
Philip          　　  Alice
Philip            　　Jesse
Mark           　　 Alice
Mark           　　 Jesse

4 结构

image-20220630231633696

5 代码

RelationBean
package com.hadoop.task4;

import org.apache.hadoop.io.Writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class RelationBean implements Writable {
    private String relationship;
    private String name;

    public RelationBean() {
    }

    public String getRelationship() {
        return relationship;
    }

    public void setRelationship(String relationship) {
        this.relationship = relationship;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeUTF(relationship);
        out.writeUTF(name);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.relationship= in.readUTF();
        this.name = in.readUTF();

    }

    @Override
    public String toString() {
        return relationship+" "+name ;
    }
}
RelationDriver
package com.hadoop.task4;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class RelationDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1 获取job
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        //设置集群地址
        conf.set("fs.default.name","hdfs://master:9000");
        conf.set("mapreduce.app-submission.cross-platform","true");
        Job job = Job.getInstance(conf);

        // 2 设置jar包路径
        job.setJar("D:\\Java\\hadoop\\project\\MapReduceDemo\\target\\MapReduceDemo-1.0-SNAPSHOT.jar");
        job.setJarByClass(RelationDriver.class);

        // 3 关联mapper和reducer
        job.setMapperClass(RelationMapper.class);
        job.setReducerClass(RelationReducer.class);

//        job.setNumReduceTasks(0);
        // 4  设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(RelationBean.class);

        // 5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        // 6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job,new Path("/input4"));
        FileOutputFormat.setOutputPath(job,new Path("/output4"));

        // 7 提交job
        boolean result = job.waitForCompletion(true);
        System.exit(result?0:1);


    }
}
RelationMapper
package com.hadoop.task4;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
KEYIN:longwritable
VALUEIN:text
KEYOUT:text
VALUEOUT:intwritable
 */
public class RelationMapper extends Mapper<LongWritable, Text,Text, RelationBean> {
    private Text OutKey = new Text();
    private RelationBean OutV = new RelationBean();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //获取一行
        String line = value.toString();
        //分割
        String[] words = line.split("        ");

        //输出child-parent 关系
        OutKey.set(words[0]);
        OutV.setName(words[1]);
        OutV.setRelationship("1");
        context.write(OutKey, OutV);

        //输出parent-child关系
        OutKey.set(words[1]);
        OutV.setName(words[0]);
        OutV.setRelationship("2");
        context.write(OutKey, OutV);

    }

}
RelationReducer
package com.hadoop.task4;

import com.sun.org.apache.xerces.internal.xs.StringList;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

//KEYIN:Text
//VALUEIN:intwritable
//KEYOUT:text
//VALUEOUT:intwritable
public class RelationReducer extends Reducer<Text,RelationBean,Text,Text>{
    private Text OutKey = new Text();
    private Text OutV = new Text();
    @Override
    protected void reduce(Text key, Iterable<RelationBean> values, Context context) throws IOException, InterruptedException {

//        for (int i=0;i)
//        for (RelationBean value : values){
//                OutV.set(value.getName());
//                context.write(key,OutV);
//        }

        //连接输出

        List<String> grandchild = new ArrayList<String>();
        List<String> grandparent = new ArrayList<String>();
        for (RelationBean value : values) {
            if(value.getRelationship().equals("1")){
                grandparent.add(value.getName());
            }else{
                grandchild.add(value.getName());
            }

        }
        for (String child : grandchild) {
            OutKey.set(child);
            for (String parent : grandparent) {
                OutV.set(parent);
                context.write(OutKey,OutV);
            }
        }

    }
}

6 测试

写完后，生成jar包，所有类只需要修改Driver里面的路径就行，其他基本不用修改。

image-20220630230634595

运行Driver就行，可以看见

image-20220630231805760

super__cool
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HNU大数据并行处理–Hadoop伪分布式环境配置
qq_45894067的博客
06-30 272
Zookeeper------Hadoop------Hbase------Scala------Spark
HNU程序设计实训（小学期）.zip
11-11
HNU程序设计实训（小学期）.zip
HNU大数据并行处理系统（二）MapReduce任务
海棠的博客
08-29 704
注意，连上之后代码框的右上角会出现一个循环状的图案，点击进行导入依赖（大概出现在图上的位置，当时忘记截图了）在虚拟机上上传file1.txt和file2.txt，做了前一个实验应该知道怎么建文件夹并上传到集群。在主机上下载和虚拟机上一样的Hadoop，bin进行替换，这部分详见↓。忘记是idea还是虚拟机的要加了，反正两个都修改也没事。在Hadoop文件的hdfs-site.xml加上。只需要看连接hdfs的部分，连上后的测试不用看。注意代码有修改，地址是这样得到的。............
Linux虚拟机中配置多节点MPI实现并行计算完整版
热门推荐
摄心神，致虚极，守静笃
01-21 1万+
虚拟机CentOS中配置MPI多节点并行计算完整版，这是一个新手教程，从一个空白的CentOS到能正常运行的基础环境，尽量详细写了每个步骤 我的环境如下： 宿主机：Windows 10 Pro 虚拟机：VMware 12 + CentOS 6.6 一、 虚拟机网络配置实现多节点互访 硬件资源有限，所以我只开了两台虚拟机均为 Centos 6.6。 1．修改网卡配置文件 /etc/sy
HNU2022夏季小学期大数据并行处理集群环境配置
S0609的博客
07-02 845
HNU2022夏季小学学期大数据并行处理集群环境配置。 jdk+hadoop+zookeeper+hbase+spark
HNU小学期计算机系统设计与创新基础训练——基于STC学习板的加密信息存储与游戏操作系统(第二部分实现方式+代码讲解)
weixin_43973089的博客
05-08 2752
整个工程链接见文章末尾 HNU小学期计算机系统设计与创新基础训练——加密信息存储与游戏操作系统——第二部分六、 实现方式及关键代码1. 变量定义及对应功能宏定义变量定义2. 定时器3. 数码管4. 导航按键4.1 初始化4.2 获取AD子函数：4.3 获取按键值子函数：4.4 按键按下处理函数5. 蜂鸣器6. 按键7. 串口通信7.1串口初始化7.2 发送数据函数7.3 串口1中断处理函数8. 24C02读取与存储8.1 初始化8.2 主机启动、停止信号8.3 从机应答信号8.4 写/读字节8.5对24.
HNU数字图像处理课程实验
06-29
1、对图1进行二值分割。 2、计算图2中钉子的直径。 3、编程实现教材P495图...可用附件中的图像，也可自己拍摄三种水果，要求不能用彩色图像，只能基于灰度图像进行处理。 5、编程实现手写体数字识别（可采用MNIST库）。
HNU程序设计图书馆系统大作业2022
06-25
在这个“HNU程序设计图书馆系统大作业2022”中，我们可以预想这是一个旨在模拟真实图书馆运作的项目，学生可能需要实现图书管理、借阅、归还、续借、查询等功能。下面将对这个项目的可能内容进行详细的分析和讨论。 ...
HNU-2021数字图像处理大作业
11-03
【标题】"HNU-2021数字图像处理大作业"主要涵盖了两个核心知识点：图像处理中的目标去除和目标检测。在这个项目中，学生被要求实现特定的算法来处理图像，具体包括移除图像中的红色十字虚线标记以及识别并标记图像中...
hnu计算机系统作业-计算机系统基础课程大作业.zip
04-27
hnu计算机系统作业—计算机系统基础课程大作业.zip hnu计算机系统作业—计算机系统基础课程大作业.ziphnu计算机系统作业—计算机系统基础课程大作业.ziphnu计算机系统作业—计算机系统基础课程大作业.ziphnu...
CentOS7.6 RabbitMQ消息队列集群部署——实施方案
weixin_71602103的博客
08-13 831
​​​​​​阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com)2.将一个RabbitMQ2节点加入到已经存在的RabbitMQ1集群中。6.将一个RabbitMQ3节点加入到已经存在的RabbitMQ1集群中。8. 将RabbitMQ3节点加入到已存在的集群中。4. 将RabbitMQ2节点加入到已存在的集群中。2、3 独立运行节点，warning提示不用理会。地址为rabbitMQ所在服务器的地址。3. 启动RabbitMQ应用程序。案例：配置阿里云的yum源。
从零开始构建霸王餐返利APP的技术路线与挑战
微赚开发者技术分享博客
08-12 743
构建霸王餐返利APP是一个复杂的过程，涉及到技术选型、系统设计、功能实现和用户体验等多个方面。通过精心设计的技术路线和对挑战的克服，可以打造出一个成功的产品。本文著作权归聚娃科技微赚淘客系统开发者团队，转载请注明出处！
LangChain与Elasticsearch向量数据库的完美结合
python1234_的博客
08-13 994
在过去的一年中，生成式 AI (Generative AI) 领域取得了显著的进展。许多新的服务和工具应运而生。其中，LangChain 已成为构建大语言模型 (LLM) 应用程序（例如检索增强生成 (RAG) 系统）最受欢迎的框架之一。该框架极大地简化了原型开发，并使开发者能够轻松实验不同的模型和检索系统。最近Elasticsearch将其集成从社区包升级为官方的 LangChain 合作伙伴包。这一升级使得在 LangChain 应用程序中引入 Elasticsearch 功能变得更加简便。
谷粒商城实战笔记-175~177-商城业务-检索服务-检索查询接口开发
epitomizelu的专栏
08-13 421
搜索页面搭建完成之后，点击搜索按钮，发送参数给后台服务，后台服务根据参数从Elasticsearch中查询符合条件的数据，返回给前端。
SparkSQL
m0_73745224的博客
08-13 661
sparkSQL操作各种数据
[免费]适用于 Windows 10 的十大数据恢复软件
qq_23996309的博客
08-12 863
Windows 10 是 Microsoft 开发的跨平台和设备应用程序操作系统。它启动速度更快，具有熟悉且扩展的“开始”菜单，甚至可以在多台设备上以新的方式工作。因此，Windows 10 非常受欢迎，我们用它来保存照片、音乐、文档和更多文件。但有时，由于意外删除、格式化、清空回收站、磁盘显示为 RAW、病毒攻击等原因，数据会丢失。此时，适用于 Windows 10 的数据恢复软件是您的最佳选择。
Kafka 的 ISR 机制
weixin_43281498的博客
08-11 368
在 0.9.x 之前的版本，Kafka 有一个核心的参数 :replica.lag.max.messages 表示如果 Follower 落后 Leader 的消息数量超过了这个参数值，就认为 Follower 就会从 ISR 列表里移除。由于 ISR 中的副本与之前的领导副本保持同步，新的领导副本能够继续提供服务，而不会丢失数据。当追随者副本追上了领导副本的日志进度（即达到了与领导副本相同的日志偏移量），领导副本会将其重新加入ISR。具体的 ISR 列表维护机制在不同的 Kafka 版本中有所变化。
重塑商业生态：技术驱动下的批发供应系统开发与革新
qq_27313987的博客
08-13 257
在当今这个快速变化的商业环境中，批发供应系统作为连接生产商、分销商与零售商的关键纽带，其效率与智能化水平直接影响着整个供应链的运作效率与市场竞争力。随着信息技术的飞速发展，特别是大数据、云计算、人工智能（AI）以及物联网（IoT）等前沿技术的深度融合，批发供应系统正经历着一场前所未有的技术革新，为传统商业模式带来了颠覆性的变化。
大数据系列之：Flink Doris Connector，实时同步数据到Doris数据库
最新发布
zhengzaifeidelushang的博客
08-13 764
可以通过Flink操作（读取、插入、修改、删除）支持存储在Doris中的数据。本文介绍了如何通过Datastream和Flink操作Doris。
hnu计算机网络作业
06-20
《HNU计算机网络作业》通常指的是湖南工业大学（Hunan University of Technology）计算机科学与技术或相关专业学生所承担的关于计算机网络的学习任务，这些作业可能包括理论知识的练习、实验操作、案例分析、项目...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值