使用MapReduce将JSON数据进行分类


数据
在这里插入图片描述


需求:将数据按照性别和文理科进行分类存储
因为要将json字符串转换成对象,所以需要fastjson.jar包


自定义对象

自定义一个对象来存储数据

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class Students implements WritableComparable<Students> {
   
    //分别定义id、姓名、年龄、性别、班级属性
    private long id;
    private String name;
    private int age;
    private String sex;
    private String className;

    //按照id排序
    public int compareTo(Students o) {
   
        return (int) (o.id - this.id);
    }

    //进行序列化操作
    public void write(DataOutput dataOutput) throws IOException {
   
        dataOutput.writeLong(id);
        dataOutput.writeUTF(name);
        dataOutput.writeInt(age);
        dataOutput.writeUTF(sex);
        dataOutput.writeUTF(className);
    }

    
    //进行反序列化操作
    public void readFields(DataInput dataInput) throws IOException {
   
        id = dataInput.readLong();
        name = dataInput.readUTF();
        age = dataInput.readInt();
        sex = dataInput.readUTF();
        className = dataInput.readUTF();
    }
    
    //自定义set方法,为对象进行赋值
    public void set(long id, String name, int age, String sex, String className) {
   
        this.id = id;
        this.name = name;
        this.age = age;
        this.sex = sex;
        this.className = className;
    }

    @Override
    public String toString() {
   
        return id + "," + name + "," + age + "," + sex + "," + className;
    }

    public long getId() {
   
        return id;
    }

    public void setId(long id) {
   
        this.id = id;
    }

    public String getName() {
   
        return name;
    }

    public void setName(String name) {
   
        this.name = name;
    }

    public int getAge() {
   
        return age;
    }

    public void setAge(int age) {
   
        this
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值